اختبارات خارج العينة والاختبارات المتقدمة (Walk-Forward)
قسّم بياناتك إلى فترات تدريب وفترات اختبار، وأجرِ تحليلًا متقدمًا (walk-forward)، واحكم على مقدار ما يصمد من أداء الاختبار الرجعي على بيانات لم يرها.
ما الذي ستتعلمه
- الفرق بين البيانات داخل العينة والبيانات خارج العينة، ولماذا لا يجوز استخدام فترة الاختبار إلا مرة واحدة
- كيف يعمل التحليل المتقدم (walk-forward) بنوافذ متدحرجة ونوافذ مثبّتة
- كيف تحسب كفاءة الاختبار المتقدم ونتيجة خارج العينة الموصولة
- قواعد عملية لأطوال النوافذ وعدد الصفقات واستقرار المعاملات
الشرح
أفضل دفاع ضد الإفراط في الملاءمة (الدرس السابق) هو اختبار القواعد على بيانات لم يكن لها أي دور في بنائها.
داخل العينة وخارج العينة
البيانات داخل العينة (IS) هي الفترة التي تستخدمها لتطوير القواعد واختيار المعاملات، مثل طول المتوسط المتحرك. أما البيانات خارج العينة (OOS) فهي فترة لاحقة تحتفظ بها مقفلة ولا تستخدمها إلا لفحص القواعد المكتملة. ومن التقسيمات البسيطة الشائعة نحو 70% داخل العينة و30% خارج العينة، مع وضع الفترة خارج العينة في النهاية، لأن المستقبل يأتي دائمًا بعد الماضي.
لا قيمة للفترة خارج العينة إلا ما دامت غير مرئية. فإذا نظرت إلى النتيجة، ثم غيّرت قاعدة واختبرت من جديد، فقد أصبحت بيانات داخل العينة. ويُسمّى هذا التنقيب في البيانات (data snooping): إعادة استخدام البيانات نفسها حتى يبدو شيء ما جيدًا بالصدفة.
التحليل المتقدم (Walk-forward)
فترة احتجاز واحدة لا تعطي إلا حكمًا واحدًا، وهذا الحكم يعتمد اعتمادًا كبيرًا على ظروف السوق في تلك الفترة. أما التحليل المتقدم فيكرر العملية مرات كثيرة:
- حسّن المعاملات على نافذة داخل العينة، مثلًا أربع سنوات.
- طبّق المعاملات المختارة، دون تغيير، على النافذة التالية خارج العينة، مثلًا سنة واحدة.
- حرّك النافذتين إلى الأمام بطول النافذة خارج العينة وكرر العملية.
- اجمع كل نتائج خارج العينة في منحنى رأس مال موصول خارج العينة واحد.
في الاختبار المتقدم المتدحرج، تحافظ النافذة داخل العينة على طول ثابت وتُسقط البيانات القديمة. وفي الاختبار المتقدم المثبّت، تبدأ النافذة دائمًا من التاريخ الأول وتتسع. فالنوافذ المتدحرجة تتكيف أسرع؛ والنوافذ المثبّتة تستخدم بيانات أكثر وتعطي عادةً معاملات أكثر ثباتًا.
عدد النوافذ هو: (إجمالي السنوات − سنوات داخل العينة) ÷ سنوات خارج العينة.
كفاءة الاختبار المتقدم
تقارن كفاءة الاختبار المتقدم (WFE) الأداء على البيانات غير المرئية بالأداء المحسَّن:
WFE = متوسط العائد السنوي خارج العينة OOS ÷ متوسط العائد السنوي داخل العينة IS
تعني WFE القريبة من 100% أن أداء النظام على البيانات الجديدة كان شبه مماثل لأدائه على البيانات التي ضُبط عليها. وتعني WFE المنخفضة أن جزءًا كبيرًا من نتيجة داخل العينة جاء من ملاءمة الضجيج. ويستخدم بعض الممارسين نحو 50% حدًا أدنى؛ وهذا عرف متّبع، لا عتبة مثبتة. وتحقق أيضًا من عدد النوافذ التي كانت مربحة.
قواعد تقريبية عملية
- ينبغي أن تحتوي كل نافذة خارج العينة على عدد كافٍ من الصفقات كي يكون لها معنى؛ واستهدف 20–30 صفقة على الأقل إجمالًا عبر جميع نوافذ خارج العينة، وأكثر إن أمكن.
- ينبغي أن تغطي كل نافذة داخل العينة مراحل صاعدة وهابطة وعرضية.
- فضّل المعاملات المأخوذة من «هضبة» مستقرة، حيث تنجح القيم المتجاورة أيضًا، على قمة حادة منفردة.
- دوّن أطوال النوافذ وقاعدة الاختيار قبل أن تبدأ، حتى لا تستطيع تغييرها بعد رؤية النتائج.
مثال محلول
مثال افتراضي: يُختبر نظام لتتبع الاتجاه على مؤشر أسهم باستخدام بيانات يومية لعشر سنوات. الافتراضات: اختبار متقدم متدحرج، ونافذة داخل العينة مدتها 4 سنوات، ونافذة خارج العينة مدتها سنة واحدة، وخطوة قدرها سنة واحدة. والعوائد افتراضية ولا تشمل الرسوم والفوارق السعرية والانزلاق والضرائب.
عدد النوافذ: (10 − 4) ÷ 1 = 6 نوافذ.
| النافذة | سنوات IS | سنة OOS | عائد IS (سنوي) | عائد OOS |
|---|---|---|---|---|
| 1 | 1–4 | 5 | 14% | 6% |
| 2 | 2–5 | 6 | 12% | −2% |
| 3 | 3–6 | 7 | 15% | 8% |
| 4 | 4–7 | 8 | 11% | 4% |
| 5 | 5–8 | 9 | 13% | −5% |
| 6 | 6–9 | 10 | 12% | 7% |
الخطوة 1: متوسط عائد IS = (14 + 12 + 15 + 11 + 13 + 12) ÷ 6 = 77 ÷ 6 ≈ 12.8%.
الخطوة 2: متوسط عائد OOS = (6 − 2 + 8 + 4 − 5 + 7) ÷ 6 = 18 ÷ 6 = 3.0%.
الخطوة 3: WFE = 3.0 ÷ 12.8 ≈ 23%.
الخطوة 4: النمو الموصول خارج العينة = 1.06 × 0.98 × 1.08 × 1.04 × 0.95 × 1.07 ≈ 1.186. ولا تُحتسب إلا السنوات غير المرئية، فينمو مبلغ €10,000 إلى نحو €10,000 × 1.186 ≈ €11,860 على مدى 6 سنوات، أي نحو 2.9% سنويًا بالتركيب.
التفسير: أربع من أصل ست سنوات خارج العينة كانت موجبة، لكن أقل من ربع الأداء المحسَّن هو ما صمد. فأرقام داخل العينة تبالغ كثيرًا في تقدير القواعد. والخطوة التالية هي تبسيطها واختبارها مجددًا على بيانات جديدة حقًا.
خطأ شائع
نشاط تطبيقي
على الورق: لديك 12 سنة من البيانات الافتراضية، وتستخدم اختبارًا متقدمًا متدحرجًا بنافذة داخل العينة مدتها 3 سنوات ونافذة خارج العينة مدتها سنة واحدة. (أ) كم عدد النوافذ؟ (ب) تعطي النوافذ الأربع الأولى عوائد IS قدرها 10% و9% و11% و10%، وعوائد OOS قدرها 5% و6% و−1% و4%. احسب WFE لهذه النوافذ الأربع. (ج) احسب النمو الموصول خارج العينة لمبلغ €10,000 على مدى هذه السنوات الأربع.
عرض الحل
(أ) (12 − 3) ÷ 1 = 9 نوافذ.
(ب) متوسط IS = 40 ÷ 4 = 10.0%. متوسط OOS = 14 ÷ 4 = 3.5%. WFE = 3.5 ÷ 10.0 = 35%.
(ج) 1.05 × 1.06 × 0.99 × 1.04 ≈ 1.146، فينمو مبلغ €10,000 إلى نحو €11,460 قبل التكاليف.
القيود: أربع نوافذ عينة صغيرة جدًا، وWFE لا تقول شيئًا عن التراجعات أو التكاليف.
أهم النقاط
- لا تكون بيانات خارج العينة صالحة إلا ما دامت غير مرئية؛ وإعادة استخدامها تحوّلها إلى بيانات داخل العينة.
- يكرر التحليل المتقدم دورة التحسين ثم الاختبار مرات كثيرة، ولا يجمع إلا النتائج غير المرئية.
- تبيّن كفاءة الاختبار المتقدم مقدار ما يصمد من الأداء المحسَّن؛ والقيم المنخفضة تشير إلى الإفراط في الملاءمة.
- ثبّت أطوال النوافذ وقواعد الاختيار والحد الأدنى لعدد الصفقات قبل أن تنظر إلى أي نتيجة.
الخطوة التالية
في الدرس التالي ستضيف تكاليف وانزلاقًا سعريًا واقعيين إلى اختبارك الرجعي، وسترى كم يتبقى من النتيجة الإجمالية.
تقييم ذاتي
أجب عن الأسئلة، ثم تحقّق من إجاباتك. يمكنك إعادة المحاولة بقدر ما تشاء.
تقييم ذاتي تلقائي لمراجعتك الشخصية. تُفحَص إجاباتك في متصفحك ولا نطّلع عليها ولا نقيّمها. هذا ليس امتحانًا ولا مؤهّلًا.
تقدّمك
«مكتمل» يعني فقط أنك علّمت الدرس كمنتهٍ. وهو ليس اختبارًا لفهمك. يُحفظ التقدّم والملاحظات فقط في هذا المتصفح على هذا الجهاز — وليس في حساب.