بهینه سازی در یادگیری نظارت شده (Optimization in Supervised Learning)، در ریاضیات (Mathematics)
انواع روش های بهینه سازی (Optimization Methods) را در آموزش زیر شرح دادیم :
بهینه سازی در یادگیری نظارت شده (Optimization in Supervised Learning) :
📌 تعریف: بهینه سازی در یادگیری نظارت شده (Optimization in Supervised Learning) به فرآیند یافتن پارامترهای یک مدل (مانند وزن ها در رگرسیون خطی یا شبکه عصبی) اشاره دارد که یک تابع هزینه (Loss Function) را بر روی داده های آموزشی کمینه می کند. به عبارت دیگر، یادگیری نظارت شده را می توان به عنوان یک مسئله بهینه سازی در نظر گرفت.
📐 فرمول بندی عمومی
\[ \min_{\theta} \quad \frac{1}{n} \sum_{i=1}^n L(y_i, f(x_i; \theta)) + \lambda R(\theta) \]که در آن:
\[ \theta \]
پارامترهای مدل هستند.
\[ L \]
تابع هزینه (مانند Mean Squared Error برای رگرسیون یا Cross-Entropy برای طبقه بندی) است.
\[ (x_i, y_i) \]
داده های آموزشی هستند.
\[ f(x_i; \theta) \]
خروجی مدل برای ورودی
\[ x_i \]است.
\[ R(\theta) \]
جمله منظم سازی (Regularization) برای جلوگیری از بیش برازش (Overfitting) است.
\[ \lambda \]
ضریب منظم سازی است.
🔧 روش های بهینه سازی رایج در یادگیری نظارت شده
حل تحلیلی (Closed-form Solution): برای مدل های خطی با تابع هزینه MSE، جواب به فرم
\[ \theta = (X^T X)^{-1} X^T y \]وجود دارد.
گرادیان کاهشی (Gradient Descent) و انواع آن: SGD، Momentum، Adam، و غیره. اینها پرکاربردترین روش ها برای مدل های پیچیده مانند شبکه های عصبی عمیق هستند.
روش های مرتبه دوم (Second-order Methods): مانند روش نیوتن و L-BFGS که از مشتق دوم نیز استفاده می کنند و معمولا همگرایی سریع تری دارند اما برای مسائل بسیار بزرگ مقیاس پذیر نیستند.
بهینه سازی محدب (Convex Optimization): برای مدل هایی که تابع هزینه محدب است (مانند رگرسیون لجستیک و SVM)، تضمین می شود که بهینه ساز به جواب سراسری می رسد.
