روش ضرایب تکه ای (Multivariate Adaptive Regression Splines - MARS)، در ریاضیات (Mathematics)
انواع روش های بهینه سازی (Optimization Methods) را در آموزش زیر شرح دادیم :
روش ضرایب تکه ای (Multivariate Adaptive Regression Splines - MARS) :
📌 معرفی
روش MARS (Multivariate Adaptive Regression Splines) توسط جروم فریدمن در سال ۱۹۹۱ معرفی شد. این یک روش ناپارامتری (Nonparametric) برای رگرسیون است که می تواند روابط غیرخطی و اندرکنش بین متغیرها را مدل کند. MARS ترکیبی از رگرسیون خطی تکه ای، انتخاب ویژگی، و توابع پایه (Basis Functions) است.
📐 ایده اصلی
MARS مدل را به صورت ترکیبی از توابع پایه آستانه ای (Hinge Functions) می سازد:
\[ \hat{f}(x) = \beta_0 + \sum_{m=1}^M \beta_m B_m(x) \]که
\[ B_m(x) \]توابع پایه هستند. هر تابع پایه می تواند یکی از اشکال زیر باشد:
یک تابع آستانه ای:
\[ \max(0, x - t) \]یا
\[ \max(0, t - x) \]حاصلضرب چند تابع آستانه ای (برای مدل سازی اندرکنش)
🔧 مراحل ساخت مدل MARS
فاز رو به جلو (Forward Phase): شروع با یک مدل ثابت (فقط عرض از مبدأ). به طور مکرر، بهترین تابع پایه جدید (به شکل جفت های آستانه ای) را به مدل اضافه کن تا به حداکثر تعداد برسیم. این مرحله ممکن است مدل را بیش از حد برازش (Overfit) کند.
فاز رو به عقب (Backward Phase): هرس کردن (Pruning) مدل با حذف توابع پایه ای که کمترین کاهش در خطا را دارند. معیار حذف معمولا بر اساس Generalized Cross-Validation (GCV) است.
