Überanpassung und wie Sie sie vermeiden

Was Sie lernen werden

• Was Überanpassung (Overfitting) ist und warum sie der häufigste Grund ist, weshalb Backtests im Live-Handel scheitern.
• Wie die Anzahl Ihrer Tests rein zufällig „Gewinner“ erzeugt.
• Wie Sie ein Parameterraster lesen und ein Plateau einer Spitze vorziehen.
• Praktische Regeln für einfachere, robustere Systeme.

Erklärung

Curve-Fitting wurde im Kurs „Technische Analyse im Detail“ kurz eingeführt. Hier lernen Sie, es zu messen und Tests zu entwerfen, die ihm widerstehen.

Was Überanpassung ist

Jede Kurshistorie besteht aus zwei Teilen: einem möglicherweise wiederholbaren Muster (dem Signal) und zufälliger Bewegung (Rauschen). Überanpassung bedeutet, dass sich die Regeln an das Rauschen angepasst haben. Der Backtest sieht dann hervorragend aus, weil das vergangene Rauschen perfekt nachgebildet wird – doch das Rauschen wiederholt sich nicht, daher sind die Live-Ergebnisse schlechter. Je mehr Entscheidungen Sie treffen, während Sie auf Ergebnisse schauen, desto mehr Rauschen passen Sie an.

Freiheitsgrade

Freiheitsgrade sind alle Möglichkeiten, wie sich ein Regelwerk an die Daten anschmiegen kann: jeder Parameter, jeder Filter, jede „nur dienstags“-Ausnahme und jeder Markt, den Sie weglassen, weil er nicht funktioniert hat. Eine häufig verwendete Faustregel lautet, die Anzahl der Trades im Verhältnis zur Anzahl der Parameter groß zu halten, zum Beispiel mehrere Dutzend Trades pro freiem Parameter; betrachten Sie dies als Minimum, nicht als Garantie.

Das Problem multipler Tests

Angenommen, Sie testen 20 Regelvarianten, die in Wahrheit keinen Edge haben, und nennen ein Ergebnis „signifikant“, wenn es nur in 5% der Fälle zufällig auftreten würde. Sind die Tests unabhängig, beträgt die Wahrscheinlichkeit, dass mindestens einer signifikant aussieht:

1 − 0.95^20 ≈ 0.64, also etwa 64%.

Bei 100 Varianten sind es etwa 99%. Vom besten von vielen Tests ist daher zu erwarten, dass er gut aussieht, auch wenn nichts funktioniert. Eine einfache Korrektur, die Bonferroni-Korrektur, teilt den Schwellenwert durch die Anzahl der Tests: 5% ÷ 20 = 0.25%. Reale Tests ähnlicher Varianten sind nicht unabhängig, daher weichen die wahren Zahlen ab, aber die Richtung ist immer dieselbe: Mehr Tests erfordern stärkere Belege. Führen Sie ein Forschungsprotokoll, das jede getestete Variante festhält, nicht nur die endgültige.

Plateaus statt Spitzen

Ein Parameterraster zeigt das Ergebnis für viele Parameterwerte. Eine robuste Regel zeigt ein Plateau: Benachbarte Werte liefern ähnliche Ergebnisse. Eine überangepasste Regel zeigt eine scharfe Spitze: Ein Wert funktioniert, seine Nachbarn nicht. Wäre der Edge echt, sollte sich ein 9- oder 11-Monats-Durchschnitt nicht völlig anders verhalten als ein 10-Monats-Durchschnitt.

Regeln für Robustheit

• Legen Sie Parameter vor dem Test aus der Hypothese fest; optimieren Sie so wenig wie möglich.
• Bevorzugen Sie weniger Regeln. Jeder Filter braucht eine eigene Begründung, nicht nur einen besseren Backtest.
• Wählen Sie einen Parameter aus der Mitte eines Plateaus, nicht dessen höchsten Punkt.
• Testen Sie dieselbe Regel unverändert an verwandten Märkten; ein echter Effekt zeigt sich meist in mehreren.
• Rechnen Sie damit, dass Live-Ergebnisse schlechter ausfallen als der optimierte Backtest, und planen Sie das ein.
• Halten Sie unberührte Daten für eine abschließende Prüfung zurück (Lektion 7).

Rechenbeispiel

Hypothetisches Beispiel: Zwei Systeme wurden jeweils mit sieben Parameterwerten getestet. Die Tabelle zeigt die annualisierte Sharpe Ratio (Lektion 5) jedes Backtests; Kosten sind als feste Schätzung enthalten, Steuern nicht berücksichtigt.

Schritt 1, bester Einzelwert: Y bei 8 (0.95) schlägt X bei 10 (0.47). Ein naiver Tester wählt Y.

Schritt 2, Nachbarschaftsdurchschnitt (der Wert und seine beiden Nachbarn):

• X bei 10: (0.44 + 0.47 + 0.45) ÷ 3 ≈ 0.45.
• Y bei 8: (0.12 + 0.95 + 0.10) ÷ 3 = 0.39.

Schritt 3, Anteil der Werte mit einer Sharpe Ratio über 0.30: X 6 von 7; Y 1 von 7.

Schritt 4, multiple Tests: 14 Varianten wurden ausprobiert. Bei 14 unabhängigen Tests ohne Edge besteht eine Wahrscheinlichkeit von 1 − 0.95^14 ≈ 51% für mindestens einen falschen „Gewinner“. Der isolierte Wert 0.95 von Y sieht nach einem solchen Gewinner aus. X zeigt ein Plateau und ist das glaubwürdigere System, auch wenn es noch einen Test an ungesehenen Daten braucht.

Häufiger Fehler

Übung

Hypothetisches Raster annualisierter Sharpe Ratios für fünf Breakout-Längen (20, 40, 60, 80, 100 Tage). Regel A: 0.30, 0.34, 0.36, 0.33, 0.31. Regel B: 0.10, 0.62, 0.08, 0.05, 0.12. Auf Papier: (a) Berechnen Sie den Nachbarschaftsdurchschnitt um den besten Wert jeder Regel, (b) entscheiden Sie, welche Regel robuster ist, (c) berechnen Sie die Wahrscheinlichkeit für mindestens einen falschen Gewinner unter 10 unabhängigen Tests ohne Edge und (d) den Bonferroni-Schwellenwert für 10 Tests bei 5%.

Das Wichtigste in Kürze

• Überanpassung bedeutet, vergangenes Rauschen nachzubilden; sie lässt Backtests besser aussehen als künftige Ergebnisse.
• Je mehr Varianten Sie testen, desto wahrscheinlicher ist ein Zufallsgewinner; protokollieren Sie jeden Test.
• Bevorzugen Sie ein Plateau guter Ergebnisse gegenüber einer einzelnen scharfen Spitze.
• Wenige Parameter, Begründungen für jede Regel und Tests an verwandten Märkten verbessern die Robustheit.

Nächster Schritt

In der nächsten Lektion nutzen Sie Out-of-Sample- und Walk-Forward-Tests, um eine Regel an Daten zu prüfen, die sie noch nie gesehen hat.