روش Nesterov Accelerated Gradient (انگلیسی : NAG)، در ریاضیات (Mathematics)

انواع روش های بهینه سازی (Optimization Methods) را در آموزش زیر شرح دادیم :

انواع روش های بهینه سازی (Optimization Methods)، در ریاضیات (Mathematics)

روش Nesterov Accelerated Gradient (انگلیسی : NAG) :

📌 معرفی

روش نستروف (Nesterov Accelerated Gradient - NAG) یک نسخه بهبود یافته از روش مومنتوم است که توسط یوری نستروف در سال ۱۹۸۳ ارائه شد. ایده اصلی این است که ابتدا با استفاده از مومنتوم به جلو حرکت کنیم و سپس گرادیان را در آن نقطه جدید محاسبه کنیم (نگاه به آینده).

📐 فرمول بندی

\[ v_{t+1} = \gamma v_t + \eta \nabla f(w_t - \gamma v_t) \] \[ w_{t+1} = w_t - v_{t+1} \]

تفاوت با مومنتوم معمولی در این است که گرادیان در نقطه

\[ w_t - \gamma v_t \]

(نقطه تقریبی آینده) محاسبه می شود، نه در

\[ w_t \]

🔧 مزایا

نرخ همگرایی سریع تر از مومنتوم معمولی برای توابع محدب.

کاهش نوسانات و پاسخ سریع تر به تغییرات جهت گرادیان.

در بسیاری از مسائل، عملکرد بهتری نسبت به مومنتوم کلاسیک دارد.

دسته بندی روش های بهینه سازی (Optimization Methods) (الگوریتم های بهینه سازی)، در ریاضیات (Mathematics)

نویسنده علیرضا گلمکانی