روش گرادیان افزایشی (Incremental Gradient Method)، در ریاضیات (Mathematics)
انواع روش های بهینه سازی (Optimization Methods) را در آموزش زیر شرح دادیم :
روش گرادیان افزایشی (Incremental Gradient Method) :
📌 معرفی
روش گرادیان افزایشی (Incremental Gradient) یا گرادیان تکه ای (Incremental Gradient Method) یک الگوریتم تکراری برای بهینه سازی توابعی است که به صورت مجموع چند تابع قابل تفکیک هستند:
\[ f(x) = \sum_{i=1}^m f_i(x) \]این روش در هر تکرار، گرادیان تنها یکی از توابع
\[ f_i \]را محاسبه کرده و متغیرها را به روز می کند.
💡 ایده اصلی
به جای محاسبه گرادیان کامل
\[ \nabla f(x_k) = \sum \nabla f_i(x_k) \]که پرهزینه است، در هر زیرتکرار (Epoch) یک
\[ i \]انتخاب کرده و به روزرسانی زیر انجام می شود:
\[ x_{k+1} = x_k - \alpha_k \nabla f_i(x_k) \]سپس به سراغ
\[ i \]بعدی می رود. این فرآیند تا پیمایش همه
\[ i \]ها ادامه می یابد.
🔧 مزایا و معایب
مزایا: کاهش هزینه محاسباتی در هر تکرار، مناسب برای مسائل بزرگ مقیاس با ساختار مجموع.
معایب: ممکن است نوسان داشته باشد، نیاز به تنظیم نرخ یادگیری.
