بیش برازش در استراتژی: چیست و چطور تشخیص دهیم؟
گزارش بکتستی با منحنی سرمایهٔ صاف و نسبت شارپ بالا قانعکننده به نظر میرسد، ولی یک سطر مهم در آن نیست: پیش از این نسخه، چند نسخهٔ دیگر روی همان داده امتحان شده است. هر نسخهٔ آزمودهشده یک بار شانس است و برندهٔ نهایی ممکن است فقط برندهٔ قرعه باشد. سازوکار این خطا، راه تشخیصش و مرز روشهای کاهش آن موضوع این صفحه است.
این مقاله برای معاملهگری است که بکتست خوبی دارد و میخواهد بداند چقدر میشود به آن اعتماد کرد؛ بعدش سراغ فوروارد تست و مدیریت ریسک بروید.
در یک نگاه
- بیش برازش یعنی تنظیم استراتژی روی نویز داده تاریخی
- هر پیکربندی آزمودهشده یک بار شانس حساب میشود
- عملکرد درون نمونه بهتنهایی دلیل پایداری نیست
- آزمون خارج از نمونه و فوروارد نشانهٔ بهتری میدهند
- هیچ روشی خطر بیش برازش را کاملاً حذف نمیکند
بیش برازش در استراتژی چیست و با استراتژی خوب چه فرقی دارد؟
بیش برازش در استراتژی یعنی قواعد و پارامترهای یک استراتژی چنان با دادهٔ تاریخی تنظیم شوند که به جای الگوی پایدار، اتفاقها و نویز همان دوره را بازتاب دهند. نتیجه بکتستی درخشان است که بیرون از نمونه ضعیف میشود. هرچه پیکربندی بیشتری روی همان داده آزموده شود، شانس این خطا بیشتر است. تفاوت استراتژی خوب با استراتژی بیشبرازششده در منبع نتیجه است، نه در ظاهر گزارش. استراتژی خوب از رفتاری سود میگیرد که دلیلی برای تکرار دارد و روی دادهای که هنگام طراحی دیده نشده هم کموبیش همان رفتار را نشان میدهد. استراتژی بیشبرازششده به جزئیاتی تکیه دارد که فقط در همان بازهٔ تاریخی رخ دادهاند: چند جهش تصادفی، ترتیب اتفاقی چند روز پرنوسان یا الگویی که بعدها تکرار نشد. خیاطی را در نظر بگیرید که کت را با همهٔ جزئیات بدن یک مشتری در یک روز خاص بدوزد، حتی با برآمدگی کیف پولی که آن روز در جیبش بود. کت روی همان بدن و در همان روز بینقص مینشیند، ولی با کوچکترین تغییری دیگر اندازه نیست. استراتژی بیشبرازششده هم اندازهٔ داده دوخته شده است، نه اندازهٔ بازار. به این خطا بیش برازش (overfitting) یا اورفیتینگ میگویند؛ در بحث ترید گاهی برازش منحنی (curve fitting) یا بهینهسازی بیش از حد هم به کار میرود. آنچه بکتست نشان میدهد عملکرد قواعد روی گذشته است. اینکه همان عملکرد در آینده هم تکرار شود، نتیجهای است که معاملهگر از آن میگیرد. بیش برازش درست در فاصلهٔ میان این دو پنهان میماند.
چرا گزارش بکتست بدون تعداد آزمونها ناقص است؟
چون عدد نهایی یک بکتست بدون دانستن تعداد رقبایش تفسیرپذیر نیست. شارپ بالا برای استراتژیای که در نخستین تلاش طراحی شده یک معنا دارد و برای بهترین نسخه از میان انبوهی از نسخههای آزمودهشده معنای دیگری. گزارش معمولی فقط نسخهٔ برنده را نشان میدهد و نسخههای کنارگذاشته را حذف میکند. Bailey و همکارانش همین نکته را دربارهٔ پیشنهادهای سرمایهگذاری مطرح میکنند: چون تعداد پیکربندیهای آزمودهشده معمولاً گزارش نمیشود، سرمایهگذار در بیشتر این پیشنهادها راهی برای سنجیدن میزان بیش برازش ندارد. این ادعای نویسندگان دربارهٔ رویهٔ رایج گزارشدهی است، نه شمارشی از همهٔ گزارشها. پژوهش دانشگاهی مالی با همین مسئله در مقیاسی بزرگتر روبهرو شده است. هارووی، لیو و ژو این مسئله را در مقالهای بررسی کردند که اکتبر ۲۰۱۴ بهصورت مقالهٔ کاری NBER منتشر شد و ژانویهٔ ۲۰۱۶ در نشریهٔ Review of Financial Studies چاپ شد. آنها نشان دادند که پس از دادهکاوی گستردهٔ صدها عامل، معیار معمول معناداری دیگر کافی نیست. به نظر آنها عامل تازه باید نسبت t بزرگتر از ۳٫۰ داشته باشد، نه مرز رایج ۲٫۰. نسبت t فاصلهٔ یک برآورد از صفر را بر حسب خطای معیار خودش میسنجد: [S1]
فرمول t
t = b / SE(b)
در این رابطه b ضریب یا میانگین برآوردشده است و SE(b) خطای معیار همان برآورد. هرچه t بزرگتر باشد، توضیح نتیجه با شانس صرف دشوارتر است. چارچوب این پژوهش آزمون چندگانه است و آستانههای تاریخی از ۱۹۶۷ به بعد و فرافکنی برای ۲۰ سال پس از زمان انتشار مقاله را در بر میگیرد. دامنهاش هم عوامل بازده مقطعی سهام است، نه هر استراتژی معاملاتی. نتیجهگیری کلی نویسندگان دربارهٔ همین ادبیات صریح است:
بیشتر یافتههای ادعاشدهٔ پژوهشی در اقتصاد مالی احتمالاً نادرستاند.
هارووی، لیو و ژو، مقالهٔ کاری NBER
چرا آزمودن پیکربندیهای زیاد روی یک داده نتیجه را گمراه میکند؟
چون وقتی بهترین نتیجه را از میان چند آزمون برمیدارید، شانس را هم همراه با مهارت برداشتهاید. نتیجهٔ بکتست هر پیکربندی را میشود دو جزء دانست: بخشی که از رفتار پایدار بازار میآید و بخشی که از نویز همان دورهٔ خاص. پیکربندی برنده معمولاً همان است که نویز مساعد بیشتری نصیبش شده است. بختآزمایی را در نظر بگیرید. یک بلیت بهاحتمال زیاد برنده نمیشود، ولی اگر بلیتهای زیادی بخرید، احتمال اینکه یکی از آنها برنده شود بالا میرود؛ بیآنکه هیچ بلیتی ذاتاً بهتر از بقیه شده باشد. بلیت برنده هم در قرعهٔ بعدی شانس بیشتری ندارد. هر پیکربندی آزمودهشده یک بلیت است و دادهٔ خارج از نمونه قرعهٔ بعدی. بیرون از نمونه، نویز تازه است و به نفع نسخهٔ برنده چیده نشده است. پس آن بخش از نتیجه که از نویز آمده بود تکرار نمیشود و عملکرد افت میکند. Bailey، Borwein، Lopez de Prado و Zhu در مقالهای که مه ۲۰۱۴ منتشر شد، بهصورت نظری نشان دادند که بیش برازش بکتست پس از آزمودن تعداد نسبتاً کمی از پیکربندیهای جایگزین پدید میآید. طبق همین مقاله، رسیدن به عملکرد شبیهسازیشدهٔ بالا ساده است. این نتیجهای ریاضی است، نه آماری تجربی از بازار. همان مقاله گامی جلوتر میرود. اگر بازدهها اثر حافظه (memory effects) داشته باشند، یعنی بازده هر دوره به دورههای پیشین وابسته باشد، بیش برازش بکتست در مدل نویسندگان به بازده مورد انتظار منفی خارج از نمونه میانجامد، نه فقط صفر. به بیان ساده، در آن مدل نسخهٔ برنده فقط بیفایده نیست و میتواند زیانده باشد.
نکته
منطق را منتقل کنید، نه عدد را
آنچه از آستانهٔ t به استراتژی شما میرسد قاعدهای کیفی است: هرچه جستوجو گستردهتر باشد، شاهد لازم برای باورکردن نتیجه باید قویتر باشد.
مثال گامبهگام: نسخهها را بشمارید تا نتیجه را بسنجید
این مثال شبیهسازیشده است و هیچ نماد یا قیمت واقعی ندارد. فرض کنید پنج سال دادهٔ روزانه در اختیار دارید، ولی این داده را از یک سری تصادفی گاوسی با میانگین صفر و انحراف معیار یک ساختهاید. چنین سریای طبق تعریف هیچ مزیت قابلکشفی ندارد؛ پس هر سودی که استراتژی روی آن نشان دهد از شانس آمده است. ابزار آنلاینی که Bailey و همکاران برای نمایش بیش برازش ساختهاند بر همین چیدمان تکیه دارد. معیار مقایسه نسبت شارپ (Sharpe ratio) است:
فرمول SR
SR = μ / σ
در این رابطه μ میانگین بازدهٔ مازاد هر دوره و σ انحراف معیار همان بازدههاست. شارپ بالاتر یعنی بازدهٔ بیشتر به ازای هر واحد نوسان.
گام اول و دوم: پارامترها را فهرست کنید و ترکیبها را بشمارید
استراتژی فرضی چهار پارامتر قابلتنظیم دارد که همان پارامترهای ابزار نویسندگاناند: حد ضرر، مدت نگهداری، روز ورود در ماه و جهت (خرید یا فروش). تعداد نسخهها حاصلضرب تعداد مقدارهای هر پارامتر است:
فرمول N
N = n_SL × n_H × n_D × n_S
در این رابطه N تعداد کل نسخههاست، n_SL تعداد مقدارهای حد ضرر، n_H تعداد مقدارهای مدت نگهداری، n_D تعداد روزهای ورود و n_S تعداد جهتها. ابزار ۲۲ روز معاملاتی در ماه فرض میکند. اگر روز ورود را هر یک از این ۲۲ روز بگیرید و جهت را هم خرید یا فروش، فقط همین دو پارامتر شما را به نزدیکی سقف ۴۵ نسخه میرسانند، پیش از آنکه حتی یک مقدار حد ضرر یا مدت نگهداری را تغییر دهید.
گام سوم و چهارم: با سقف مقایسه کنید و بخش کنارگذاشته را بسنجید
قاعدهٔ سرانگشتی Bailey و همکاران میگوید با دادهٔ روزانهٔ فقط پنج سال، بیش از حدود ۴۵ نسخهٔ متفاوت از یک استراتژی نباید روی همان داده آزموده شود؛ وگرنه بهترین نسخه بهاحتمال زیاد فقط از سر شانس شارپ ۱٫۰ یا بیشتر نشان میدهد. عدد ۱٫۰ با قرارداد محاسبهٔ خود ابزار گزارش شده است و با شارپ تکدورهای رابطهٔ بالا، مثلاً شارپ روزانه، مستقیم مقایسهپذیر نیست. روی سریای با میانگین صفر، چنین شارپی چیزی جز نویز انتخابشده نیست. گام چهارم سنجیدن بهترین نسخه روی بخش دیگری از داده است؛ ابزار نویسندگان برای همین ساخته شده که نشان دهد بیش برازش یک سیستم سرمایهگذاری چقدر آسان است.
چهار گام شمردن نسخهها روی دادهٔ شبیهسازیشده
| گام | کار | چه چیزی ثبت میشود |
|---|---|---|
| ۱ | فهرستکردن پارامترها | حد ضرر، مدت نگهداری، روز ورود، جهت |
| ۲ | شمردن نسخهها | N، حاصلضرب تعداد مقدارهای هر پارامتر |
| ۳ | مقایسه با سقف | آیا N از حدود ۴۵ نسخه بیشتر است؟ |
| ۴ | مقایسهٔ درون و خارج نمونه | شارپ درون نمونه در برابر شارپ خارج از نمونه |
عدد ۴۵ به همان فرضها بسته است: پنج سال دادهٔ روزانه، ۲۲ روز معاملاتی در ماه و دادهٔ شبیهسازیشده. آن را آستانهٔ عمومی برای هر بازار و هر تایمفریم نخوانید؛ ارزشش در عادت شمردن است، نه در خود عدد.
چطور بیش برازش را تشخیص بدهیم؟
نشانهٔ اصلی فاصلهٔ عملکرد درون نمونه و خارج از نمونه است. دادهٔ درون نمونه (in-sample) بخشی از تاریخ است که قواعد و پارامترها روی آن ساخته و تنظیم شدهاند. دادهٔ خارج از نمونه (out-of-sample) بخشی است که هنگام طراحی دیده نشده و فقط برای سنجش کنار گذاشته شده است. استراتژی پایدار در هر دو بخش رفتار مشابهی دارد؛ استراتژی بیشبرازششده ممکن است در بخش دوم فرو بریزد. این نشانهها احتمال بیش برازش را بالا میبرند:
- افت شدید معیاری مثل شارپ از درون نمونه به خارج از نمونه.
- نامعلومبودن تعداد نسخههایی که پیش از نسخهٔ نهایی آزموده شدهاند.
- نتیجهای که فقط در بازهٔ باریکی از مقدارهای پارامتر خوب است و با تغییری کوچک از دست میرود.
- پارامترهایی که دلیل اقتصادی یا رفتاری روشنی ندارند و فقط به این دلیل انتخاب شدهاند که بهترین عدد بودند.
آزمون فوروارد همین منطق را در زمان پیاده میکند: پارامترها روی بخشی از تاریخ تنظیم میشوند و روی بخش بعدی سنجیده میشوند. راهنمای متاتریدر هدف این آزمون را پرهیز از برازش پارامترها به بخشهای مشخصی از دادهٔ تاریخی میداند. این ابزارها محدودیت جدی دارند. به نوشتهٔ Bailey، Borwein، Lopez de Prado و Zhu در مقالهٔ «The Probability of Backtest Overfitting»، تکنیکهای آماری استاندارد برای جلوگیری از بیش برازش رگرسیون در بکتست سرمایهگذاری معمولاً ناقابلاعتماد و نادقیقاند. نگهداشتن بخشی از داده (hold-out) یکی از همین تکنیکهاست. پیشنهاد آنها چارچوبی برای برآورد احتمال بیش برازش بکتست (PBO) با روشی به نام CSCV است. جدا از استدلال مقاله، یک سازوکار ساده هم دادهٔ خارج از نمونه را بیاعتبار میکند. اگر نتیجهٔ آن را ببینید، استراتژی را اصلاح کنید و دوباره بسنجید، آن داده عملاً وارد فرایند تنظیم شده است. پس از چند دور، دادهٔ خارج از نمونه همان نقش دادهٔ درون نمونه را دارد، فقط با برچسبی دیگر.
چه راههایی خطر بیش برازش را کم میکند و محدودیت هر کدام چیست؟
هر راه یک بخش از مسئله را مهار میکند و بخش دیگری را باز میگذارد. جدول زیر کار و محدودیت هر کدام را کنار هم میگذارد و توضیح هر ردیف پس از آن آمده است.
پنج راه کاهش خطر بیش برازش و مرز هر کدام
| راه | چه میکند | محدودیت |
|---|---|---|
| شمارش و سقف نسخهها | تعداد آزمونها را آشکار و محدود میکند | سقف حدود ۴۵ نسخه فقط برای پنج سال دادهٔ روزانهٔ شبیهسازیشده سنجیده شده است |
| آستانهٔ سختگیرانهتر معناداری | برای پذیرش نتیجه شاهد قویتری میخواهد | t بزرگتر از ۳٫۰ برای عاملهای بازده سهام پیشنهاد شده است |
| نگهداشتن بخشی از داده (hold-out) | بخشی از تاریخ را برای سنجش کنار میگذارد | در بکتست سرمایهگذاری معمولاً ناقابلاعتماد و نادقیق توصیف شده است |
| آزمون فوروارد | بهترین اجراها را روی بازهٔ بعدی میسنجد | با استفادهٔ تکراری خودش آلوده میشود |
| CSCV برای برآورد PBO | احتمال بیش برازش را برآورد میکند | برآورد معقولش فقط در چند مثال کاربردی همان مقاله نشان داده شده است |
شمارش نسخهها پایهٔ بقیه است، چون بدون آن هیچ آستانهای معنا ندارد. رابطهٔ حاصلضرب در مثال بالا نشان میدهد که سادهکردن استراتژی از کجا کمک میکند: هر پارامتر کمتر یا هر مقدار کمتر برای یک پارامتر، N را کوچک میکند. ضعف این راه آن است که فقط آزمونهای ثبتشده را میشمارد. آستانهٔ سختگیرانهتر همان منطق آزمون چندگانه است: وقتی بارها جستوجو کردهاید، نتیجهٔ برنده باید از معیار معمول فاصلهٔ بیشتری بگیرد. نگهداشتن بخشی از داده سادهترین راه است و همین سادگی دامش است: آلودگی ناشی از نگاهکردن مکرر به نتیجه آن را ضعیف میکند. آزمون فوروارد بُعد زمان را اضافه میکند؛ جزئیات اجرای آن در متاتریدر ۵ در بخش بعد آمده است. روش CSCV، کوتاهشدهٔ Combinatorially Symmetric Cross-Validation، برای برآورد احتمال بیش برازش بکتست (Probability of Backtest Overfitting) طراحی شده است. نویسندگان نشان میدهند این روش برای چند مثال کاربردی برآوردهای معقولی از PBO میدهد. این شاهد به مثالهای همان مقاله محدود است و تضمینی برای هر داده و هر استراتژی نیست.
آزمون فوروارد در متاتریدر ۵ چطور کار میکند؟
در متاتریدر ۵، آزمون فوروارد بخشی از بهینهسازی در تستر استراتژی است. به گفتهٔ راهنمای رسمی این پلتفرم، وقتی بهینهسازی با فوروارد اجرا شود، تستر بازهٔ تاریخ انتخابشده را به دو بخش تقسیم میکند. بهینهسازی روی بخش نخست انجام میشود و سپس ۱۰٪ بهترین اجراها در جستوجوی کامل، یا ۲۵٪ در الگوریتم ژنتیک، روی بازهٔ فوروارد آزموده میشوند. هدف این سازوکار، طبق همان راهنما، پرهیز از برازش پارامترها به بخشهای مشخصی از دادهٔ تاریخی است. آنچه تستر نشان میدهد این است که بهترین اجراهای درون نمونه روی بازهٔ بعدی چه کردهاند. آنچه تستر نشان نمیدهد این است که چند بار کل بهینهسازی را تکرار کردهاید یا پس از دیدن نتیجهٔ فوروارد چند بار کد اکسپرت را تغییر دادهاید. نتیجهای که معاملهگر میگیرد باید همین مرز را رعایت کند. عبور از فوروارد یک نشانهٔ مثبت است، نه اثبات پایداری. انتخاب بهترین اجرا از میان اجراهایی که روی بازهٔ فوروارد سنجیده شدهاند، خودش یک گزینش تازه است و همان سازوکار شانس را به بخش دوم داده میبرد. اگر میخواهید فوروارد معنای خود را نگه دارد، شمار دفعاتی را که آن را دیدهاید و بر پایهاش تغییری دادهاید ثبت کنید.
چه چیزهایی را با بیش برازش اشتباه میگیرند؟
سه پدیده نتیجهای شبیه بیش برازش دارند، ولی علتشان فرق میکند و درمانشان هم.
کمبرازش: مدلی که بیش از حد ساده است
کمبرازش (underfitting) نقطهٔ مقابل بیش برازش است: استراتژی چنان ساده است که ساختار واقعی داده را هم نمیگیرد. تفاوت در الگوی نتیجه پیداست. در بیش برازش، عملکرد درون نمونه درخشان و خارج از نمونه ضعیف است؛ در کمبرازش، هر دو ضعیفاند. حذف پارامترها کمبرازش را بدتر میکند، پس سادهسازی را نباید درمان همهجایی دانست.
خوششانسی در یک دوره
استراتژیای که فقط یک بار طراحی و آزموده شده هم ممکن است در یک دوره بهطور اتفاقی نتیجهٔ خوبی بدهد. این بیش برازش به معنای دقیق نیست، چون جستوجویی در کار نبوده، ولی پیامدش مشابه است. تفاوتش با مثال دادهٔ شبیهسازیشده همین است: آنجا شارپ بالا از گزینش بهترین نسخه میان نسخههای زیاد میآمد، ولی اینجا گزینشی در کار نیست و نتیجهٔ خوب از تصادف همان یک دوره است. هرچه دورهٔ آزمون کوتاهتر باشد، سهم شانس در نتیجه بیشتر است.
هزینههای نادیدهگرفتهشده
بکتستی که اسپرد، کمیسیون، لغزش قیمت و سواپ را حساب نکرده، در اجرای واقعی ضعیفتر میشود، حتی اگر هیچ پارامتری بیش از حد تنظیم نشده باشد. علت این افت حسابداری ناقص است، نه برازش. پیش از نتیجهگیری دربارهٔ بیش برازش، بکتست را با هزینههای واقعی ترید دوباره اجرا کنید؛ اگر فاصلهٔ درون و خارج نمونه پس از آن هم باقی ماند، فرضیهٔ بیش برازش جدیتر میشود.
شرایط شکست: این راهها کجا کافی نیستند؟
همهٔ راههای بالا فرض میکنند شما میدانید چند آزمون انجام دادهاید. در عمل بخشی از جستوجو هیچجا ثبت نمیشود: ایدههایی که با یک نگاه به نمودار کنار گذاشته شدند، نسخههایی که در پروژههای قبلی آزموده شدند و نتیجههایی که از دیگران خواندهاید. چون این آزمونها شمرده نمیشوند، بیش برازش در استراتژی ممکن است حتی با رعایت سقف ثبتشده رخ دهد. عددهای این صفحه هم دامنهٔ محدود دارند. برای نمونه، نتیجهٔ بازده منفی خارج از نمونه به وجود اثر حافظه در مدل بسته است. از این یافته نمیشود نتیجه گرفت که هر استراتژی بیشبرازششده لزوماً زیان میدهد؛ فقط میشود گفت بازده مورد انتظار صفر بدترین حالت ممکن نیست. روشهای ارزیابی هم مصون نیستند و آزمون فوروارد با هر بار استفاده بخشی از استقلالش را از دست میدهد. به گفتهٔ Bailey و همکاران، وقتی تعداد آزمونها گزارش نشده باشد، که در بیشتر پیشنهادهای سرمایهگذاری چنین است، سرمایهگذار نمیتواند میزان بیش برازش را ارزیابی کند.
هشدار
بکتست خوب از سرمایه محافظت نمیکند
اگر استراتژی بیشبرازششده را با پول واقعی اجرا کنید، ممکن است بخشی از سرمایه یا همهٔ آن را از دست بدهید. آزمونهای این صفحه احتمال این خطا را کم میکنند، ولی آن را حذف نمیکنند.
اندازهٔ پوزیشن و حد زیان را جدا از نتیجهٔ بکتست و بر پایهٔ مدیریت ریسک تعیین کنید. حتی پس از همهٔ این آزمونها، آنچه به دست میآید درجهای از اطمینان است، نه گواهی پایداری.
هرچه اینجا میخوانید آموزشی است — نه سیگنالِ ترید، نه توصیهٔ خرید و فروش، نه وعدهٔ نتیجه. تصمیم آخر با خود شماست.
مرجع و تمرین مرتبط
الگو، ستاپ و واژهٔ مرتبط
پرسشهای پرتکرار
آیا بهینهسازی پارامتر اندیکاتور باعث اورفیتینگ میشود؟
چند پارامتر برای استراتژی زیاد است؟
out of sample یعنی چه؟
چرا استراتژی در بکتست سود میدهد ولی در حساب واقعی ضرر میدهد؟
واژههای این مقاله
منابع
این مقاله با کمکِ ابزارهای هوش مصنوعی تهیه شده است. سیاست تحریریه
دیدگاه خود را ارسال کن
ارسال دیدگاهمطالب مرتبط
ارسال دیدگاه
دیدگاهها پیش از انتشار بررسی میشوند. به پرسشهای معاملاتی پاسخ نمیدهیم و سیگنال نمیدهیم.
دیدگاهها (۰)
هنوز دیدگاهی ثبت نشده؛ اولین نفر باش.