Aşırı uyum ve bundan nasıl kaçınılır

Neler öğreneceksiniz

• Aşırı uyumun (overfitting) ne olduğu ve backtest'lerin canlı işlemde başarısız olmasının neden en yaygın sebebi olduğu.
• Yaptığınız test sayısının saf şans eseri nasıl "kazananlar" yarattığı.
• Bir parametre ızgarasının nasıl okunacağı ve neden zirve yerine platonun tercih edilmesi gerektiği.
• Daha basit, daha sağlam sistemler için pratik kurallar.

Açıklama

Eğri uydurma (curve-fitting) "Derinlemesine Teknik Analiz" kursunda kısaca tanıtıldı. Burada onu ölçmeyi ve ona dayanıklı testler tasarlamayı öğreniyorsunuz.

Aşırı uyum nedir

Her fiyat geçmişi iki parça içerir: olası tekrarlanabilir bir örüntü (sinyal) ve rastgele hareket (gürültü). Aşırı uyum, kuralların gürültüye uyum sağlamış olması demektir. Bu durumda backtest mükemmel görünür, çünkü geçmişteki gürültüye kusursuz uyum sağlanmıştır; ancak gürültü tekrarlanmayacağı için canlı sonuçlar daha kötü olur. Sonuçlara bakarken ne kadar çok seçim yaparsanız, o kadar çok gürültüye uyum sağlarsınız.

Serbestlik dereceleri

Serbestlik dereceleri, bir kural setinin veriye göre esneyebileceği tüm yollardır: her parametre, her filtre, her "yalnızca salı günleri" istisnası ve işe yaramadığı için çıkardığınız her piyasa. Sık kullanılan bir pratik kural, işlem sayısını parametre sayısına göre büyük tutmaktır; örneğin her serbest parametre için birkaç düzine işlem. Bunu bir garanti değil, bir alt sınır olarak değerlendirin.

Çoklu test sorunu

Gerçekte hiçbir avantajı olmayan 20 kural varyantını test ettiğinizi ve bir sonucu, yalnızca %5 olasılıkla şans eseri ortaya çıkacaksa "anlamlı" saydığınızı varsayalım. Testler bağımsızsa, en az birinin anlamlı görünme olasılığı şudur:

1 − 0.95^20 ≈ 0.64, yani yaklaşık %64.

100 varyantla bu yaklaşık %99'dur. Dolayısıyla, hiçbir şey işe yaramasa bile pek çok testin en iyisinin iyi görünmesi beklenir. Basit bir düzeltme olan Bonferroni düzeltmesi, eşiği test sayısına böler: 5% ÷ 20 = 0.25%. Benzer varyantların gerçek testleri bağımsız değildir, dolayısıyla gerçek sayılar farklıdır, ancak yön her zaman aynıdır: daha fazla test, daha güçlü kanıt gerektirir. Yalnızca sonuncuyu değil, denediğiniz her varyantı kaydeden bir araştırma günlüğü tutun.

Platolar ve zirveler

Bir parametre ızgarası, pek çok parametre değeri için sonucu gösterir. Sağlam bir kural bir plato gösterir: komşu değerler benzer sonuçlar verir. Aşırı uyumlu bir kural keskin bir zirve gösterir: bir değer işe yarar, komşuları yaramaz. Avantaj gerçek olsaydı, 9 aylık veya 11 aylık bir ortalama 10 aylık bir ortalamadan tamamen farklı davranmamalıydı.

Sağlamlık kuralları

• Parametreleri test etmeden önce hipotezden yola çıkarak sabitleyin; mümkün olduğunca az optimize edin.
• Daha az kuralı tercih edin. Her filtrenin yalnızca daha iyi bir backtest değil, kendine ait bir gerekçesi olmalıdır.
• Bir parametreyi platonun en yüksek noktasından değil, ortasından seçin.
• Aynı kuralı ilişkili piyasalarda değiştirmeden test edin; gerçek bir etki genellikle birkaç piyasada görülür.
• Canlı sonuçların optimize edilmiş backtest'ten daha kötü olmasını bekleyin ve buna göre plan yapın.
• Son bir kontrol için dokunulmamış verileri bir kenarda tutun (7. ders).

Çözümlü örnek

Varsayımsal örnek: iki sistemin her biri yedi parametre değeriyle test edildi. Tablo her backtest'in yıllıklandırılmış Sharpe oranını (5. ders) gösteriyor; maliyetler sabit bir tahmin olarak dahildir, vergiler hariçtir.

1. adım, en iyi tek değer: 8'deki Y (0.95), 10'daki X'i (0.47) geçiyor. Saf bir test eden Y'yi seçer.

2. adım, komşuluk ortalaması (değer ve iki komşusu):

• 10'daki X: (0.44 + 0.47 + 0.45) ÷ 3 ≈ 0.45.
• 8'deki Y: (0.12 + 0.95 + 0.10) ÷ 3 = 0.39.

3. adım, Sharpe'ı 0.30'un üzerinde olan değerlerin payı: X 7'de 6; Y 7'de 1.

4. adım, çoklu test: 14 varyant denendi. Avantajı olmayan 14 bağımsız testle, en az bir sahte "kazanan" çıkma olasılığı 1 − 0.95^14 ≈ %51'dir. Y'nin tek başına duran 0.95'i böyle bir kazanana benziyor. X bir plato gösteriyor ve daha güvenilir sistemdir, ancak yine de görülmemiş veriler üzerinde bir teste ihtiyaç duyar.

Sık yapılan hata

Uygulama etkinliği

Beş kırılım uzunluğu (20, 40, 60, 80, 100 gün) için yıllıklandırılmış Sharpe oranlarından oluşan varsayımsal ızgara. A kuralı: 0.30, 0.34, 0.36, 0.33, 0.31. B kuralı: 0.10, 0.62, 0.08, 0.05, 0.12. Kâğıt üzerinde: (a) her kuralın en iyi değeri etrafındaki komşuluk ortalamasını hesaplayın, (b) hangi kuralın daha sağlam olduğuna karar verin, (c) avantajı olmayan 10 bağımsız test arasında en az bir sahte kazanan çıkma olasılığını hesaplayın ve (d) %5'te 10 test için Bonferroni eşiğini bulun.

Önemli çıkarımlar

• Aşırı uyum, geçmişteki gürültüye uyum sağlamak demektir; backtest'leri gelecekteki sonuçlardan daha iyi gösterir.
• Ne kadar çok varyant test ederseniz, şans eseri bir kazanan çıkması o kadar olasıdır; her testi kaydedin.
• Tek bir keskin zirve yerine iyi sonuçlardan oluşan bir platoyu tercih edin.
• Az sayıda parametre, her kural için bir gerekçe ve ilişkili piyasalarda yapılan testler sağlamlığı artırır.

Sonraki adım

Bir sonraki derste, bir kuralı hiç görmediği veriler üzerinde kontrol etmek için örneklem dışı (out-of-sample) ve ileriye kaydırmalı (walk-forward) testleri kullanacaksınız.