روش Adam (انگلیسی : Adaptive Moment Estimation)، در ریاضیات (Mathematics)
انواع روش های بهینه سازی (Optimization Methods) را در آموزش زیر شرح دادیم :
روش Adam (انگلیسی : Adaptive Moment Estimation) :
📌 معرفی
روش Adam (Adaptive Moment Estimation) که توسط کینگما و با در سال ۲۰۱۵ معرفی شد، یکی از محبوب ترین و پرکاربردترین الگوریتم های بهینه سازی در یادگیری عمیق است. Adam ترکیبی از ایده های مومنتوم و RMSProp است: هم میانگین متحرک گرادیان ها (مومنتوم) و هم میانگین متحرک مربعات گرادیان ها را نگه می دارد.
📐 فرمول بندی
\[ m_t = \beta_1 m_{t-1} + (1 - \beta_1) \nabla f(w_t) \] \[ v_t = \beta_2 v_{t-1} + (1 - \beta_2) (\nabla f(w_t))^2 \] \[ \hat{m}_t = \frac{m_t}{1 - \beta_1^t} \] \[ \hat{v}_t = \frac{v_t}{1 - \beta_2^t} \] \[ w_{t+1} = w_t - \frac{\eta}{\sqrt{\hat{v}_t} + \epsilon} \hat{m}_t \]که
\[ \beta_1 \]و
\[ \beta_2 \]نرخ فروپاشی (معمولا به ترتیب ۰.۹ و ۰.۹۹۹)، و
\[ \hat{m}_t \],
\[ \hat{v}_t \]تصحیح اریب (Bias Correction) هستند.
🔧 ویژگی ها
ترکیب مزایای مومنتوم و نرخ یادگیری تطبیقی.
برای طیف وسیعی از مسائل خوب عمل می کند.
نیاز به تنظیمات کمتری نسبت به SGD دارد.
ممکن است در برخی مسائل به خوبی SGD با تنظیمات دقیق عمل نکند.
نویسنده علیرضا گلمکانی
شماره کلید 8810
گزینه ها 
نظرات 0 0 0