الإفراط في الملاءمة وكيفية تجنّبه
افهم لماذا تبالغ الاختبارات الرجعية المحسَّنة في تقدير النتائج المستقبلية، واستخدم هضاب المعاملات وعدد الاختبارات وقواعد البساطة للحد من الإفراط في الملاءمة.
ما الذي ستتعلمه
- ما الإفراط في الملاءمة، ولماذا هو السبب الأكثر شيوعًا لفشل الاختبارات الرجعية في التداول الحي.
- كيف يُنتج عدد الاختبارات التي تجريها «فائزين» بمحض الصدفة.
- كيف تقرأ شبكة المعاملات وتفضّل الهضبة على القمة.
- قواعد عملية لأنظمة أبسط وأكثر متانة.
الشرح
قُدّم مفهوم ملاءمة المنحنى (curve-fitting) بإيجاز في دورة «التحليل الفني المتعمّق». وهنا تتعلم كيف تقيسه وكيف تصمم اختبارات تقاومه.
ما الإفراط في الملاءمة
يتضمن كل تاريخ للأسعار جزأين: نمطًا قد يكون قابلًا للتكرار (الإشارة) وحركة عشوائية (الضجيج). والإفراط في الملاءمة (Overfitting) يعني أن القواعد تكيّفت مع الضجيج. فيبدو الاختبار الرجعي حينئذ ممتازًا، لأن ضجيج الماضي جرت ملاءمته تمامًا، لكن الضجيج لن يتكرر، فتأتي النتائج الحية أسوأ. وكلما اتخذت خيارات أكثر وأنت تنظر إلى النتائج، لاءمت قدرًا أكبر من الضجيج.
درجات الحرية
درجات الحرية هي جميع الطرق التي يمكن أن تنثني بها مجموعة القواعد لتلائم البيانات: كل معامل، وكل مرشّح، وكل استثناء من نوع «أيام الثلاثاء فقط»، وكل سوق تستبعدها لأنها لم تنجح. ومن القواعد التقريبية الشائعة إبقاء عدد الصفقات كبيرًا قياسًا بعدد المعاملات، مثلًا عدة عشرات من الصفقات لكل معامل حر؛ وتعامل مع ذلك بوصفه حدًا أدنى لا ضمانًا.
مشكلة الاختبارات المتعددة
لنفترض أنك اختبرت 20 صيغة من القاعدة لا تملك في الحقيقة أي أفضلية، وأنك تعدّ النتيجة «ذات دلالة» إذا كانت لن تحدث بالصدفة إلا بنسبة 5% من المرات. إذا كانت الاختبارات مستقلة، فاحتمال أن تبدو واحدة منها على الأقل ذات دلالة هو:
1 − 0.95^20 ≈ 0.64، أي نحو 64%.
ومع 100 صيغة يبلغ نحو 99%. لذا يُتوقع أن يبدو أفضلُ اختبار من بين اختبارات كثيرة جيدًا حتى عندما لا ينجح أي شيء. وثمة تصحيح بسيط، هو تعديل بونفيروني (Bonferroni)، يقسم العتبة على عدد الاختبارات: 5% ÷ 20 = 0.25%. والاختبارات الحقيقية لصيغ متشابهة ليست مستقلة، فتختلف الأرقام الحقيقية، لكن الاتجاه يبقى واحدًا دائمًا: المزيد من الاختبارات يتطلب أدلة أقوى. واحتفظ بـسجل بحث يدوّن كل صيغة جرّبتها، لا الصيغة النهائية وحدها.
الهضاب مقابل القمم
تُظهر شبكة المعاملات النتيجة لقيم كثيرة من المعاملات. والقاعدة المتينة تُظهر هضبة: القيم المتجاورة تعطي نتائج متشابهة. أما القاعدة المفرطة في الملاءمة فتُظهر قمة حادة: قيمة واحدة تنجح وجاراتها لا تنجح. فلو كانت الأفضلية حقيقية، لما تصرّف متوسط 9 أشهر أو 11 شهرًا بشكل مختلف تمامًا عن متوسط 10 أشهر.
قواعد للمتانة
- ثبّت المعاملات انطلاقًا من الفرضية قبل الاختبار؛ وحسّن بأقل قدر ممكن.
- فضّل عددًا أقل من القواعد. فكل مرشّح يجب أن يكون له سببه الخاص، لا مجرد اختبار رجعي أفضل.
- اختر المعامل من وسط الهضبة، لا من أعلى نقطة فيها.
- اختبر القاعدة نفسها على أسواق ذات صلة دون تغييرات؛ فالأثر الحقيقي يظهر عادةً في عدة أسواق.
- توقّع أن تكون النتائج الحية أسوأ من الاختبار الرجعي المحسَّن، وخطط لذلك.
- احتفظ ببيانات لم تُمسّ جانبًا لإجراء فحص نهائي (الدرس 7).
مثال محلول
مثال افتراضي: اختُبر نظامان، كل منهما بسبع قيم للمعامل. ويعرض الجدول نسبة شارب السنوية (الدرس 5) لكل اختبار رجعي؛ والتكاليف مشمولة بوصفها تقديرًا ثابتًا، والضرائب غير مشمولة.
| المعامل | 4 | 6 | 8 | 10 | 12 | 14 | 16 |
|---|---|---|---|---|---|---|---|
| النظام X (طول SMA، بالأشهر) | 0.21 | 0.38 | 0.44 | 0.47 | 0.45 | 0.41 | 0.36 |
| النظام Y (مسافة الوقف، بوحدات ATR) | 0.05 | 0.12 | 0.95 | 0.10 | 0.02 | −0.08 | 0.04 |
الخطوة 1، أفضل قيمة منفردة: Y عند 8 (0.95) يتفوق على X عند 10 (0.47). والمختبِر الساذج يختار Y.
الخطوة 2، متوسط الجوار (القيمة وجارتاها):
- X عند 10: (0.44 + 0.47 + 0.45) ÷ 3 ≈ 0.45.
- Y عند 8: (0.12 + 0.95 + 0.10) ÷ 3 = 0.39.
الخطوة 3، حصة القيم التي تتجاوز فيها نسبة شارب 0.30: X 6 من 7؛ وY 1 من 7.
الخطوة 4، الاختبارات المتعددة: جُرّبت 14 صيغة. ومع 14 اختبارًا مستقلًا بلا أفضلية، هناك احتمال 1 − 0.95^14 ≈ 51% لظهور «فائز» زائف واحد على الأقل. وقيمة Y المعزولة 0.95 تبدو فائزًا من هذا النوع. أما X فيُظهر هضبة وهو النظام الأكثر مصداقية، مع أنه لا يزال بحاجة إلى اختبار على بيانات لم يرها.
خطأ شائع
نشاط تطبيقي
شبكة افتراضية لنسب شارب السنوية لخمسة أطوال للاختراق (20 و40 و60 و80 و100 يوم). القاعدة A: 0.30، 0.34، 0.36، 0.33، 0.31. القاعدة B: 0.10، 0.62، 0.08، 0.05، 0.12. على الورق: (أ) احسب متوسط الجوار حول أفضل قيمة لكل قاعدة، و(ب) حدّد أي القاعدتين أكثر متانة، و(ج) احسب احتمال ظهور فائز زائف واحد على الأقل من بين 10 اختبارات مستقلة بلا أفضلية، و(د) عتبة بونفيروني لعشرة اختبارات عند 5%.
عرض الحل
(أ) أفضل قيمة للقاعدة A هي 60 يومًا: (0.34 + 0.36 + 0.33) ÷ 3 ≈ 0.34. وأفضل قيمة للقاعدة B هي 40 يومًا: (0.10 + 0.62 + 0.08) ÷ 3 ≈ 0.27.
(ب) القاعدة A: القيم الخمس جميعها بين 0.30 و0.36، أي هضبة. أما القاعدة B فلها قمة واحدة معزولة.
(ج) 1 − 0.95^10 ≈ 1 − 0.599 ≈ 40%.
(د) 5% ÷ 10 = 0.5%.
القيود: قيم المعاملات المتشابهة مترابطة بقوة، ولذا فإن افتراض الاستقلال يبالغ في عدد الاختبارات المنفصلة حقًا؛ والأرقام تبيّن الاتجاه لا الاحتمالات الدقيقة.
أهم النقاط
- الإفراط في الملاءمة يعني ملاءمة ضجيج الماضي؛ وهو يجعل الاختبارات الرجعية تبدو أفضل من النتائج المستقبلية.
- كلما اختبرت صيغًا أكثر، ازداد احتمال ظهور فائز بالصدفة؛ فسجّل كل اختبار.
- فضّل هضبة من النتائج الجيدة على قمة حادة منفردة.
- قلة المعاملات، ووجود سبب لكل قاعدة، والاختبار على أسواق ذات صلة، كلها تحسّن المتانة.
الخطوة التالية
في الدرس التالي ستستخدم اختبارات خارج العينة والاختبارات المتقدمة (walk-forward) لفحص قاعدة على بيانات لم ترها من قبل.
تقييم ذاتي
أجب عن الأسئلة، ثم تحقّق من إجاباتك. يمكنك إعادة المحاولة بقدر ما تشاء.
تقييم ذاتي تلقائي لمراجعتك الشخصية. تُفحَص إجاباتك في متصفحك ولا نطّلع عليها ولا نقيّمها. هذا ليس امتحانًا ولا مؤهّلًا.
تقدّمك
«مكتمل» يعني فقط أنك علّمت الدرس كمنتهٍ. وهو ليس اختبارًا لفهمك. يُحفظ التقدّم والملاحظات فقط في هذا المتصفح على هذا الجهاز — وليس في حساب.