روش RMSProp (انگلیسی : Root Mean Square Propagation)، در ریاضیات (Mathematics)
انواع روش های بهینه سازی (Optimization Methods) را در آموزش زیر شرح دادیم :
روش RMSProp (انگلیسی : Root Mean Square Propagation) :
📌 معرفی
روش RMSProp (Root Mean Square Propagation) توسط جفری هینتون ارائه شد تا مشکل کاهش بیش از حد نرخ یادگیری در AdaGrad را حل کند. در RMSProp، به جای جمع تمام مربعات گرادیان های گذشته، از میانگین متحرک (Moving Average) استفاده می شود.
📐 فرمول بندی
\[ E[g^2]_t = \rho E[g^2]_{t-1} + (1 - \rho) (\nabla f(w_t))^2 \] \[ w_{t+1} = w_t - \frac{\eta}{\sqrt{E[g^2]_t + \epsilon}} \odot \nabla f(w_t) \]که
\[ \rho \]نرخ فروپاشی (Decay Rate) است (معمولا ۰.۹) و
\[ E[g^2] \]میانگین متحرک مربعات گرادیان ها.
🔧 مزایا
نرخ یادگیری به طور تطبیقی برای هر پارامتر تنظیم می شود.
مشکل کاهش بیش از حد AdaGrad را ندارد.
برای مسائل آنلاین و غیرایستا (Non-stationary) مناسب است.
نویسنده علیرضا گلمکانی
شماره کلید 8809
گزینه ها 
نظرات 0 0 0