Örneklem dışı ve ileriye kaydırmalı (walk-forward) test

Neler öğreneceksiniz

• Örneklem içi ve örneklem dışı veriler arasındaki fark ve test döneminin neden yalnızca bir kez kullanılabileceği
• Kayan ve sabit başlangıçlı pencerelerle ileriye kaydırmalı analizin nasıl çalıştığı
• İleriye kaydırma verimliliğinin ve birleştirilmiş örneklem dışı sonucun nasıl hesaplanacağı
• Pencere uzunlukları, işlem sayıları ve parametre istikrarı için pratik kurallar

Açıklama

Aşırı uyuma (önceki ders) karşı en iyi savunma, kuralları oluşturulmalarında hiçbir rol oynamamış veriler üzerinde test etmektir.

Örneklem içi ve örneklem dışı

Örneklem içi (in-sample, IS) veriler, kuralları geliştirmek ve hareketli ortalama uzunluğu gibi parametreleri seçmek için kullandığınız dönemdir. Örneklem dışı (out-of-sample, OOS) veriler, kilit altında tuttuğunuz ve yalnızca bitmiş kuralları kontrol etmek için kullandığınız daha sonraki bir dönemdir. Yaygın ve basit bir ayrım, yaklaşık %70 örneklem içi ve %30 örneklem dışıdır; gelecek her zaman geçmişten sonra geldiği için örneklem dışı dönem sondadır.

Örneklem dışı dönem yalnızca görülmediği sürece değer taşır. Sonuca bakar, bir kuralı değiştirir ve yeniden test ederseniz, o dönem örneklem içi veriye dönüşmüş olur. Buna veri kurcalama (data snooping) denir: aynı veriyi, bir şey şans eseri iyi görünene kadar tekrar tekrar kullanmak.

İleriye kaydırmalı analiz

Tek bir ayrılmış dönem yalnızca tek bir hüküm verir ve bu hüküm büyük ölçüde o dönemin piyasa koşullarına bağlıdır. İleriye kaydırmalı (walk-forward) analiz süreci pek çok kez tekrarlar:

1. Parametreleri bir örneklem içi pencerede, örneğin dört yılda optimize edin.
2. Seçilen parametreleri değiştirmeden bir sonraki örneklem dışı pencereye, örneğin bir yıla uygulayın.
3. Her iki pencereyi de örneklem dışı pencerenin uzunluğu kadar ileri kaydırın ve tekrarlayın.
4. Tüm örneklem dışı sonuçları tek bir birleştirilmiş örneklem dışı sermaye eğrisinde bir araya getirin.

Kayan (rolling) ileriye kaydırmada örneklem içi pencere sabit bir uzunlukta kalır ve eski verileri dışarıda bırakır. Sabit başlangıçlı (anchored) ileriye kaydırmada pencere her zaman ilk tarihte başlar ve büyür. Kayan pencereler daha hızlı uyum sağlar; sabit başlangıçlı pencereler daha fazla veri kullanır ve genellikle daha istikrarlı parametreler verir.

Pencere sayısı: (toplam yıl − örneklem içi yıl) ÷ örneklem dışı yıl.

İleriye kaydırma verimliliği

İleriye kaydırma verimliliği (walk-forward efficiency, WFE), görülmemiş verilerdeki performansı optimize edilmiş performansla karşılaştırır:

WFE = ortalama yıllıklandırılmış OOS getirisi ÷ ortalama yıllıklandırılmış IS getirisi

%100'e yakın bir WFE, sistemin yeni verilerde, ayarlandığı verilerdeki kadar iyi performans gösterdiği anlamına gelir. Düşük bir WFE, örneklem içi sonucun büyük bölümünün gürültüye uyumdan geldiği anlamına gelir. Bazı uygulayıcılar asgari değer olarak kabaca %50 kullanır; bu kanıtlanmış bir eşik değil, bir gelenektir. Ayrıca kaç pencerenin kârlı olduğunu da kontrol edin.

Pratik kurallar

• Her örneklem dışı pencere, anlam taşıyacak kadar işlem içermelidir; tüm OOS pencerelerinde toplam en az 20–30 işlemi, mümkünse daha fazlasını hedefleyin.
• Her örneklem içi pencere yükseliş, düşüş ve yatay dönemleri kapsamalıdır.
• Tek bir keskin zirve yerine, komşu değerlerin de işe yaradığı istikrarlı bir "platodan" gelen parametreleri tercih edin.
• Pencere uzunluklarını ve seçim kuralını başlamadan önce yazın; böylece sonuçları gördükten sonra değiştiremezsiniz.

Çözümlü örnek

Varsayımsal örnek: bir hisse senedi endeksi üzerindeki trend takip sistemi 10 yıllık günlük veriyle test ediliyor. Varsayımlar: kayan ileriye kaydırma, 4 yıllık örneklem içi pencere, 1 yıllık örneklem dışı pencere, 1 yıllık adım. Getiriler varsayımsaldır ve ücretler, spread'ler, kayma ve vergiler hariçtir.

Pencere sayısı: (10 − 4) ÷ 1 = 6 pencere.

1. adım: ortalama IS getirisi = (14 + 12 + 15 + 11 + 13 + 12) ÷ 6 = 77 ÷ 6 ≈ 12.8%.

2. adım: ortalama OOS getirisi = (6 − 2 + 8 + 4 − 5 + 7) ÷ 6 = 18 ÷ 6 = 3.0%.

3. adım: WFE = 3.0 ÷ 12.8 ≈ 23%.

4. adım: birleştirilmiş OOS büyümesi = 1.06 × 0.98 × 1.08 × 1.04 × 0.95 × 1.07 ≈ 1.186. Yalnızca görülmemiş yıllar sayılır; dolayısıyla €10,000, 6 yılda yaklaşık €10,000 × 1.186 ≈ €11,860'a büyür; bu, bileşik olarak yılda yaklaşık %2.9'dur.

Yorum: altı OOS yılının dördü pozitifti, ancak optimize edilmiş performansın dörtte birinden azı ayakta kaldı. Örneklem içi rakamlar kuralları büyük ölçüde abartıyor. Bir sonraki adım, kuralları sadeleştirmek ve gerçekten yeni veriler üzerinde yeniden test etmektir.

Sık yapılan hata

Uygulama etkinliği

Kâğıt üzerinde: 12 yıllık varsayımsal veriniz var ve 3 yıllık örneklem içi pencere ile 1 yıllık örneklem dışı pencereye sahip kayan bir ileriye kaydırma kullanıyorsunuz. (a) Kaç pencere vardır? (b) İlk dört pencere %10, %9, %11 ve %10 IS getirileri ile %5, %6, −1% ve %4 OOS getirileri veriyor. Bu dört pencere için WFE'yi hesaplayın. (c) Bu dört yıl boyunca €10,000'ın birleştirilmiş OOS büyümesini hesaplayın.

Önemli çıkarımlar

• Örneklem dışı veriler yalnızca görülmediği sürece geçerlidir; yeniden kullanmak onları örneklem içi veriye dönüştürür.
• İleriye kaydırmalı analiz, önce optimize et sonra test et döngüsünü pek çok kez tekrarlar ve yalnızca görülmemiş sonuçları birleştirir.
• İleriye kaydırma verimliliği, optimize edilmiş performansın ne kadarının ayakta kaldığını gösterir; düşük değerler aşırı uyuma işaret eder.
• Herhangi bir sonuca bakmadan önce pencere uzunluklarını, seçim kurallarını ve asgari işlem sayılarını sabitleyin.

Sonraki adım

Bir sonraki derste backtest'inize gerçekçi maliyetler ve kayma ekleyecek ve brüt sonuçtan ne kadarının kaldığını göreceksiniz.