روش گرادیان تصادفی با مومنتوم (SGD with Momentum)، در ریاضیات (Mathematics)
انواع روش های بهینه سازی (Optimization Methods) را در آموزش زیر شرح دادیم :
روش گرادیان تصادفی با مومنتوم (SGD with Momentum) :
📌 معرفی
روش SGD با مومنتوم (Momentum) برای کاهش نوسانات و شتاب بخشی به همگرایی SGD معرفی شد. این روش با الهام از مفهوم فیزیکی مومنتوم، جهت قبلی به روزرسانی را در نظر می گیرد و به عنوان یک اینرسی عمل می کند.
📐 فرمول بندی
\[ v_{t+1} = \gamma v_t + \eta \nabla f_i(w_t) \] \[ w_{t+1} = w_t - v_{t+1} \]که
\[ \gamma \]معمولا ۰.۹ یا ۰.۹۹ انتخاب می شود (ضریب مومنتوم) و
\[ v \]سرعت (velocity) است.
🔧 تفسیر
مومنتوم باعث می شود که اگر گرادیان در چند تکرار متوالی جهت یکسانی داشته باشد، گام ها بزرگتر شوند (شتاب).
اگر جهت گرادیان تغییر کند، مومنتوم از نوسانات شدید جلوگیری می کند.
نویز موجود در SGD را کاهش می دهد و مسیر هموارتری ایجاد می کند.
نویسنده علیرضا گلمکانی
شماره کلید 8807
گزینه ها 
نظرات 0 0 0