مهارت‌های عملی

دام‌های بک تست: چرا نتیجه خوب در بازار واقعی تکرار نمی‌شود

بک‌تستی که منحنی سرمایهٔ صاف و رو به بالا نشان می‌دهد، وسوسه می‌کند استراتژی را مستقیم به حساب واقعی ببرید. این وسوسه قابل‌فهم است؛ عدد روی صفحه دقیق به نظر می‌رسد. اما دقت عدد با درستی آزمون یکی نیست. این مقاله دام‌هایی را که نتیجهٔ گذشته را بهتر از واقعیت نشان می‌دهند، با علامت، علت، راه اصلاح و نمونهٔ پژوهشی مرور می‌کند.

در یک نگاه

  • نتیجهٔ خوب بک‌تست ضمانت عملکرد آینده نیست.
  • هرچه نسخهٔ بیشتری آزموده شود، شانس بیش‌برازش بالاتر است.
  • تعداد همهٔ آزمون‌ها را ثبت کنید، نه فقط بهترین را.
  • نگاه به آینده و هزینهٔ اجرا نتیجه را باد می‌کنند.
  • اعتبار را روی داده‌ای دیده‌نشده بسنجید.

شخصیت معامله‌گریت رو کشف کن!

تیپِ معامله‌گری‌ات چطور روی تصمیم‌هایت اثر می‌گذارد؟ در چند سؤال کوتاه بفهم.

دام‌های بک‌تست چیستند و نشانه‌شان را چطور می‌شناسید؟

دام‌های بک تست خطاهایی‌اند که نتیجهٔ آزمون روی داده‌های گذشته را از عملکرد واقعی بهتر نشان می‌دهند: بیش‌برازش، آزمودن بیش‌ازحد نسخه‌ها، نگاه به آینده، سوگیری بازمانده و نادیده‌گرفتن هزینهٔ اجرا. نتیجهٔ خوب بک‌تست فقط وقتی معنا دارد که تعداد آزمون‌ها ثبت و روی داده‌ای دیده‌نشده بازآزمایی شده باشد. نخستین نشانه معمولاً در خود نتیجه پیداست، نه در بازار. اگر منحنی سرمایه تقریباً بی‌افت بالا می‌رود، یا با جابه‌جایی کوچک یک پارامتر کل نتیجه فرو می‌ریزد، دلیل کافی دارید که پیش از هر تصمیمی آزمون را دوباره بکاوید. دام‌های بک تست معمولاً از یکی از این مسیرها وارد می‌شوند:

  • بیش‌برازش: قاعده‌ها به نویز همان داده چسبیده‌اند، نه به رفتار تکرارشوندهٔ بازار.
  • آزمون چندگانه: از میان نسخه‌های فراوان، فقط بهترین گزارش شده است.
  • نگاه به آینده و بازمانده: اطلاعاتی وارد آزمون شده که در لحظهٔ تصمیم در دسترس نبود.
  • هزینهٔ اجرا: کارمزد، اسپرد و لغزش قیمت کمتر از واقع یا صفر فرض شده است.

پیش از آنکه سراغ این دام‌ها بروید، مطمئن شوید قاعده‌هایتان آن‌قدر روشن نوشته شده‌اند که آزمون‌پذیر باشند. قاعده‌ای که هر بار کمی متفاوت تفسیر شود، هر نتیجه‌ای را توجیه می‌کند. نوشتن قوانین ورود و خروج در طرح معاملاتی همین ابهام را از آزمون بیرون می‌برد.

بیش‌برازش (اوور فیتینگ) چیست و چرا نتیجه خوب گذشته را بی‌اعتبار می‌کند؟

دانش‌آموزی را در نظر بگیرید که به‌جای یادگرفتن درس، پاسخ‌های امتحان سال قبل را حفظ کرده است. در همان امتحان نمرهٔ کامل می‌گیرد و در امتحان تازه زمین می‌خورد. بیش‌برازش (Overfitting) در بک‌تست همین است: قاعده‌های استراتژی آن‌قدر با جزئیات یک دادهٔ مشخص تنظیم شده‌اند که به‌جای الگوی پایدار، نوسان‌های تصادفی همان دوره را یاد گرفته‌اند. این نتیجه بی‌اعتبار است، چون نویز تکرار نمی‌شود. سود گذشته در این حالت توصیف همان داده است، نه توصیف بازاری که شما در آن معامله خواهید کرد. علامتش را معمولاً در ساختار استراتژی می‌بینید: فیلترهای پشت‌سرهمی که هرکدام برای حذف چند معاملهٔ زیان‌دهِ مشخص اضافه شده‌اند، پارامترهایی با دقت عجیب و افت شدید عملکرد روی داده‌ای که در ساخت استراتژی دیده نشده است. علتش تکرار تنظیم روی یک دادهٔ ثابت است. هرچه پیکربندی‌های بیشتری روی همان داده آزموده شود، شانس بیش‌برازش بالاتر می‌رود. تا تعداد گزینه‌های آزموده معلوم نباشد، احتمال بیش‌برازش را نمی‌توان برآورد کرد. برای اصلاح، دلیل هر قاعده را پیش از آزمون بنویسید و تعداد قاعده‌ها را کم نگه دارید. بیلی، بورواین، لوپز د پرادو و ژو روشی به نام اعتبارسنجی متقاطع ترکیبی متقارن (CSCV) برای برآورد احتمال بیش‌برازش پیشنهاد کرده‌اند. مقالهٔ آن‌ها با عنوان «احتمال بیش‌برازش بک‌تست» نخستین بار در سپتامبر ۲۰۱۳ در SSRN منتشر و در مارس ۲۰۱۵ بازنگری شد.

پرسشی که پیش از افزودن هر فیلتر بپرسید

آیا این قاعده دلیلی دارد که بیرون از همین داده هم معنا داشته باشد؟ اگر تنها دلیلش بهترشدن نتیجهٔ گذشته است، به احتمال زیاد به نویز برازش شده است.

چرا آزمودن نسخه‌های بسیار روی یک داده، نتیجه را باد می‌کند؟

فرض کنید یک استراتژی تقاطع میانگین متحرک را با ترکیب‌های فراوانی از دوره، حد ضرر و تایم‌فریم روی یک دادهٔ ثابت آزموده‌اید و فقط بهترین نسخه را نگه داشته‌اید. حتی اگر هیچ‌کدام از نسخه‌ها مزیت واقعی نداشته باشد، بهترینِ آن‌ها به‌صرف شانس نتیجهٔ چشمگیری نشان می‌دهد. به این پدیده آزمون چندگانه (Multiple Testing) می‌گویند. قیاس ساده‌اش سکه‌انداختن است. اگر جمعیت بزرگی سکه بیندازند، کسی پیدا می‌شود که پشت‌سرهم شیر بیاورد، بی‌آنکه مهارتی در کار باشد. نسخهٔ برندهٔ شما هم ممکن است همان سکه‌انداز خوش‌شانس باشد. هاروی، لیو و ژو در پژوهشی که NBER در اکتبر ۲۰۱۴ منتشر کرد، همین منطق را روی پژوهش‌های بازده سهام پیاده کردند. آمارهٔ t نشان می‌دهد نتیجه چقدر از آنچه تصادف محض می‌سازد فاصله دارد. نتیجهٔ آن‌ها این بود که چون صدها مقاله و عامل روی همان دادهٔ بازار آزموده شده‌اند، یک عامل تازه‌کشف‌شده باید از مرز مرسوم آمارهٔ t بالاتر برود تا پذیرفته شود. این یافته دربارهٔ عامل‌های بازده مقطعی سهام است و به استراتژی شما منتقل نمی‌شود؛ اما درسش روشن است: هرچه آزمون بیشتر، معیار پذیرش باید سخت‌تر شود. بیلی و لوپز د پرادو در ۲۰۱۴ ابزاری برای همین سخت‌گیری معرفی کردند: نسبت شارپ تعدیل‌شده (Deflated Sharpe Ratio). این نسبت دو منبع بادکردن عملکرد را اصلاح می‌کند: سوگیری انتخاب در آزمون چندگانه و بازده‌هایی که توزیع نرمال ندارند. شرط استفاده از آن در اختیار داشتن بازدهی همهٔ بک‌تست‌های اجراشده است، نه فقط نسخهٔ منتخب.

همهٔ اجراها را ثبت کنید، نه فقط برنده را

در یک جدول ساده تاریخ، پارامترها و نتیجهٔ هر اجرا را بنویسید. بدون این فهرست، نه خودتان و نه هیچ بازبینی نمی‌تواند بگوید نتیجهٔ نهایی چه اندازه حاصل شانس است.

سوگیری نگاه به آینده و سوگیری بازمانده چطور وارد بک‌تست می‌شوند؟

هر دو سوگیری یک ریشه دارند: آزمون چیزی را می‌داند که معامله‌گر در لحظهٔ تصمیم نمی‌دانست. سوگیری نگاه به آینده (Look-Ahead Bias) یعنی استفاده از اطلاعاتی که در زمان تصمیم هنوز وجود نداشت. یک نمونه‌اش این است که سیگنال با قیمت بسته‌شدن یک کندل محاسبه شود ولی ورود در قیمت باز همان کندل فرض شود. علامتش ورودهایی است که به‌طرز مشکوکی نزدیک بهترین قیمت ممکن ثبت شده‌اند. سوگیری بازمانده (Survivorship Bias) وقتی رخ می‌دهد که آزمون فقط روی دارایی‌هایی اجرا شود که تا پایان دوره باقی مانده‌اند، مثل سهم‌هایی که هنوز در بورس‌اند یا رمزارزهایی که هنوز معامله می‌شوند. دارایی‌هایی که ورشکسته یا حذف شده‌اند از داده بیرون می‌افتند و زیانشان هرگز در نتیجه دیده نمی‌شود. نمونهٔ مستند سوگیری نگاه به آینده از ارزیابی عملکرد پرتفوی می‌آید. دنیل، سورنته و وورمان این سوگیری را در مقاله‌ای بررسی کردند که ۱۰ اکتبر ۲۰۰۸ در arXiv ارسال شد. آن‌ها نشان دادند وقتی ارزیابی به‌جای ترکیب بنچمارک در ابتدای دوره از ترکیب پایان دوره استفاده کند، با دادهٔ CRSP از ۱۹۲۶ تا ۲۰۰۶ سوگیری برای S&P 500 می‌تواند تا ۸٪ در سال برسد و معیارهایی مثل نسبت شارپ را بیش‌برآورد کند. برای اصلاح، دادهٔ هر تاریخ را همان‌طور به کار ببرید که در آن تاریخ در دسترس بود. یعنی ترکیب شاخص را از همان روز بگیرید، فهرست کامل دارایی‌ها را همراه با حذف‌شده‌ها نگه دارید و سیگنال را دست‌کم یک کندل پس از محاسبه اجرا کنید.

نتیجهٔ بادکرده را به حساب واقعی نبرید

اگر استراتژی را بر پایهٔ بک‌تستی که اطلاعات آینده در آن نشت کرده به حساب واقعی ببرید، ممکن است بخشی از سرمایه یا همهٔ آن را از دست بدهید. پیش از اجرا زمان هر داده را با لحظهٔ تصمیم مقایسه کنید.

هزینه معامله، اسلیپیج و تفاوت موتورهای بک‌تست چه اثری روی نتیجه دارد؟

هزینهٔ اجرا مجموع کارمزد و فاصلهٔ میان قیمت روی نمودار و قیمتی است که سفارش شما واقعاً با آن پر می‌شود. بک‌تستی که این هزینه را صفر بگیرد، معامله‌ای را می‌سنجد که در عمل وجود ندارد. این هزینه سه جزء دارد: کارمزد کارگزار، اسپرد یعنی اختلاف قیمت خرید و فروش و لغزش قیمت یا اسلیپیج (Slippage) یعنی تفاوت قیمت درخواستی با قیمت اجرا. قیاسش کرایهٔ تاکسی است. نقشه فقط مسافت را نشان می‌دهد، اما کرایهٔ واقعی ورودی ثابت و ترافیک را هم در خود دارد. هرچه سفرهای کوتاه بیشتری بروید، سهم این هزینه‌های ثابت از کل پول بیشتر می‌شود. تفاوت موتورهای بک‌تست هم به همین هزینه وابسته است. یین، میکی، لسنیچنکو و گورال در مطالعه‌ای که مارس ۲۰۲۶ در arXiv ارسال شد، ۵ موتور بک‌تست را مقایسه کردند. با هزینهٔ معاملهٔ صفر، نتایج همهٔ موتورها دقیقاً یکی بود. با هزینهٔ غیرصفر، نتایج از هم فاصله گرفتند و اندازهٔ این واگرایی با شدت هزینه همبستگی بسیار بالایی داشت (ضریب اسپیرمن ۰٫۹۳، معیاری برای هم‌جهتی رتبه‌ای دو کمیت). واگرایی در استراتژی‌های چرخشی پرگردش از همه بیشتر بود. این یافتهٔ یک مطالعه روی مجموعه‌ای مشخص از موتورها و استراتژی‌هاست، اما نشان می‌دهد نحوهٔ مدل‌کردن هزینه خودش بخشی از نتیجه است. برای اصلاح، هزینه‌ها را محافظه‌کارانه وارد کنید و همان استراتژی را با فرض هزینهٔ بالاتر هم بیازمایید. اگر نتیجه با کمی افزایش هزینه از بین برود، مزیت استراتژی به احتمال زیاد از ابتدا وجود نداشته است. در اجرای واقعی هم انضباط در اجرا تعیین می‌کند فاصلهٔ میان بک‌تست و حساب واقعی چقدر بماند.

تست خارج از نمونه، والک‌فوروارد و ثبت تعداد آزمون‌ها چه کمکی به سنجش اعتبار می‌کنند؟

هر سه روش با یک منطق کار می‌کنند: استراتژی باید روی داده‌ای سنجیده شود که در ساختنش نقشی نداشته است. بیش‌برازش و آزمون چندگانه همین جدایی میان دادهٔ ساخت و دادهٔ سنجش را از بین می‌برند؛ این سه روش آن را بازمی‌گردانند.

  • تست خارج از نمونه (Out-of-Sample): بخشی از داده را پیش از شروع کنار بگذارید و فقط در پایان، یک بار، استراتژی را روی آن اجرا کنید. اگر پس از دیدن نتیجه برگردید و پارامتر را تغییر دهید، آن بخش دیگر خارج از نمونه نیست.
  • والک‌فوروارد (Walk-Forward Analysis): پارامترها را روی یک بازهٔ زمانی تنظیم کنید، روی بازهٔ بعدی که دیده نشده بسنجید و پنجره را جلو ببرید. حاصل، زنجیره‌ای از بازه‌های دیده‌نشده است که به یک برش واحد وابسته نیست.
  • فوروارد تست (Forward Test): همان قاعده‌های ثابت را روی داده‌ای اجرا کنید که پس از طراحی استراتژی پدید می‌آید، مثلاً روی حساب آزمایشی. در این حالت داده‌ای از آینده نمی‌تواند وارد آزمون شود، اما حساب آزمایشی پرشدن سفارش، اسپرد و لغزش حساب واقعی را کامل بازتاب نمی‌دهد و در مدت کوتاه شمار معاملات کم می‌ماند.
  • ثبت تعداد آزمون‌ها: هر پیکربندی آزموده را یادداشت کنید تا ابزارهایی مثل نسبت شارپ تعدیل‌شده و روش CSCV قابل استفاده باشند.

یک برش کنارگذاشتهٔ واحد به‌تنهایی کافی نیست، چون اگر بارها به آن سر بزنید خودش بخشی از دادهٔ تنظیم می‌شود.اگر استراتژی شما دستی است، همین اصول را با بک‌تست دستی گام‌به‌گام پیاده کنید و نتیجهٔ هر اجرا را در ژورنال‌نویسی عملی نگه دارید.

علامت، علت و اصلاح هر دام را کنار هم ببینید

جدول زیر دام‌های بک تست را در یک نگاه کنار هم می‌گذارد. ستون آخر نمونهٔ پژوهشی هر دام است تا بدانید هشدار از کجا آمده و دامنه‌اش چیست. پیش از تصمیم دربارهٔ هر استراتژی، ردیف‌ها را یکی‌یکی با آزمون خودتان تطبیق دهید.

دام و علامتعلتاصلاحنمونهٔ مستند
بیش‌برازش: فروپاشی نتیجه با تغییر کوچک پارامتربرازش قاعده‌ها به نویز یک دادهٔ ثابتقاعدهٔ کمتر با دلیل پیشینی، دادهٔ دیده‌نشدهروش CSCV بیلی و همکاران، SSRN
آزمون چندگانه: نسخهٔ برنده از میان انبوه نسخه‌هاسوگیری انتخابمعیار پذیرش سخت‌تر، نسبت شارپ تعدیل‌شدهسخت‌ترشدن آستانهٔ آمارهٔ t در پژوهش عامل‌های سهام، NBER
نگاه به آینده و بازمانده: ورود نزدیک بهترین قیمت، نبود دارایی‌های حذف‌شدهدادهٔ ناموجود در لحظهٔ تصمیمدادهٔ تاریخ‌دار، فهرست کامل دارایی‌هاسوگیری نگاه به آیندهٔ بنچمارک تا ۸٪ در سال برای S&P 500، arXiv
هزینهٔ اجرا: نتیجه‌ای که با کمی هزینهٔ بیشتر محو می‌شودکارمزد، اسپرد و اسلیپیج نادیدههزینهٔ محافظه‌کارانه، آزمون حساسیتبیشترین واگرایی میان موتورها در استراتژی‌های پرگردش، arXiv

این جدول جایگزین آزمون نیست؛ فقط نشان می‌دهد کجا را باید دوباره بکاوید. حتی بک‌تستی که از همهٔ این ردیف‌ها سالم بیرون بیاید، عملکرد آینده را تضمین نمی‌کند، چون بازار ممکن است رفتارش را تغییر دهد. گام بعدی منطقی این است که نتیجه‌ها را در دوره‌های منظم با بازبینی طرح معاملاتی بسنجید و هر تغییر قاعده را، مثل یک آزمون تازه، ثبت کنید.

یک تذکر لازم

هرچه اینجا می‌خوانید آموزشی است — نه سیگنالِ ترید، نه توصیهٔ خرید و فروش، نه وعدهٔ نتیجه. تصمیم آخر با خود شماست.

پرسش‌های پرتکرار

فرق بک‌تست و فوروارد تست چیست؟
بک‌تست قاعده‌های استراتژی را روی داده‌های گذشته اجرا می‌کند که پیش از طراحی در دسترس بوده‌اند؛ سریع است و دوره‌های مختلف بازار را پوشش می‌دهد، اما در برابر بیش‌برازش و نگاه به آینده آسیب‌پذیر است. فوروارد تست همان قاعده‌های ثابت را روی داده‌ای اجرا می‌کند که پس از طراحی پدید می‌آید، معمولاً روی حساب آزمایشی. کندتر است، ولی چون آینده هنوز رخ نداده، اطلاعاتش نمی‌تواند به آزمون نشت کند؛ هرچند حساب آزمایشی هزینهٔ اجرای واقعی را کامل نشان نمی‌دهد.
چرا استراتژی در بک‌تست سود می‌دهد ولی در بازار واقعی ضرر می‌دهد؟
چند عامل با هم اثر می‌گذارند. قاعده‌ها ممکن است به نویز همان دادهٔ گذشته برازش شده باشند و رفتار بازار هم پس از دورهٔ آزمون عوض شده باشد. نسخهٔ نهایی از میان نسخه‌های بسیار انتخاب شده و بخشی از نتیجه‌اش شانس است. هزینهٔ معامله و لغزش قیمت کمتر از واقع فرض شده است؛ یین و همکارانش (arXiv، مارس ۲۰۲۶) نشان دادند پنج موتور بک‌تست با هزینهٔ غیرصفر نتیجهٔ متفاوت می‌دهند. گاهی هم اطلاعات آینده بی‌صدا وارد داده می‌شود.
چند سال داده برای بک‌تست لازم است؟
این پرسش پاسخ عددی واحدی ندارد که برای همهٔ استراتژی‌ها صدق کند. مهم‌تر از شمار سال‌ها این است که داده دوره‌هایی با رفتار متفاوت بازار، مثل روند صعودی، نزولی و حرکت در محدوده را در بر بگیرد و بخشی از آن برای آزمون خارج از نمونه کنار گذاشته شود. هرچه نسخه‌های بیشتری روی همان داده امتحان کنید، احتمال اینکه بهترینشان حاصل شانس باشد بیشتر است.
چطور بفهمم بک‌تست من قابل اعتماد است؟
چند آزمون ساده را پشت‌سرهم انجام دهید. پارامترها را کمی جابه‌جا کنید و ببینید نتیجه پابرجا می‌ماند یا نه. هزینه‌ها را بالاتر فرض کنید. زمان هر داده را با لحظهٔ تصمیم مقایسه کنید. استراتژی را روی داده‌ای دیده‌نشده یا در فوروارد تست بسنجید و اگر نسخهٔ نهایی از میان نسخه‌های فراوان برگزیده شده، معیار پذیرش را سخت‌تر بگیرید. قبول همهٔ این آزمون‌ها اعتبار را بالا می‌برد، ولی سود آینده را تضمین نمی‌کند.

منابع

NBER | https://www.nber.org/papers/w20592SSRN — بیش‌برازش بک‌تست | https://papers.ssrn.com/abstract=2326253SSRN — شارپ تعدیل‌شده | https://papers.ssrn.com/abstract=2460551arXiv — نگاه به آینده | https://arxiv.org/abs/0810.1922arXiv — ریسک پیاده‌سازی | https://arxiv.org/abs/2603.20319
نویسنده: تحریریهٔ تریدآکاواحد سبک و استراتژی

مطالب مرتبط

دوره‌های آموزش تریدآکا

دورهٔ بعدی یادگیری‌ات را پیدا کن

دوره‌ها را ببین، سبک‌ها را مقایسه کن و آموزش مناسب خودت را انتخاب کن.

ادامهٔ مسیر تو

قدم بعدی را انتخاب کن

مسیر یادگیریت را پیدا کن

راهنمای شروع، انتخاب سبک و ترتیب یادگیری دوره‌ها را متناسب با هدفت ببین.

دیدن مسیر یادگیری

سبک معامله‌گریت را بشناس

با تست Trader DNA، الگوی تصمیم‌گیری و سبک‌های نزدیک‌تر به خودت را بشناس.

شناخت DNA معاملاتی

مقایسهٔ پلن‌ها

پوشش دوره‌ها و شرایط اشتراک طلایی و الماس را کنار هم مقایسه کن.