روش AMSGrad، در ریاضیات (Mathematics)
انواع روش های بهینه سازی (Optimization Methods) را در آموزش زیر شرح دادیم :
روش AMSGrad :
📌 معرفی
روش AMSGrad توسط ردی و همکاران در سال ۲۰۱۸ برای رفع یک مشکل همگرایی در Adam ارائه شد. در Adam، گاهی اوقات
\[ v_t \](میانگین متحرک مربعات گرادیان) کاهش می یابد که باعث افزایش نرخ یادگیری و ناپایداری می شود. AMSGrad با نگه داشتن حداکثر
\[ v_t \]تا کنون، این مشکل را حل می کند.
📐 فرمول بندی
\[ m_t = \beta_1 m_{t-1} + (1 - \beta_1) g_t \] \[ v_t = \beta_2 v_{t-1} + (1 - \beta_2) g_t^2 \] \[ \hat{v}_t = \max(\hat{v}_{t-1}, v_t) \] \[ w_{t+1} = w_t - \frac{\eta}{\sqrt{\hat{v}_t} + \epsilon} m_t \]با این کار، نرخ یادگیری هرگز افزایش نمی یابد و همگرایی بهینه تضمین می شود.
نویسنده علیرضا گلمکانی
شماره کلید 8815
گزینه ها 
نظرات 0 0 0