روش گرادیان کاهشی (Steepest Descent Method)، در ریاضیات (Mathematics)
انواع روش های عددی (Numerical Methods) را در آموزش زیر شرح دادیم :
روش گرادیان کاهشی (Steepest Descent Method) :
\[ x_{k+1} = x_k - \alpha_k \nabla f(x_k) \]توضیح ساده: روش گرادیان کاهشی (یا شیب ترین کاهش) ساده ترین و شهودی ترین روش در خانواده روش های کاهشی است. در این روش، جهت حرکت در هر گام، خلاف جهت گرادیان (یعنی جهت بیشترین کاهش) انتخاب می شود. اندازه گام αₐ می تواند ثابت باشد یا با جستجوی خطی بهینه سازی شود. این روش در یادگیری ماشین با نام Gradient Descent بسیار محبوب است. با این حال، همگرایی آن می تواند کند باشد، به ویژه برای توابع با پستی و بلندی های کشیده (ill-conditioned).
شرح گام به گام: الگوریتم گرادیان کاهشی:
۱. نقطه شروع x₀ و معیار توقف ε را انتخاب کنید.
۲. برای k = ۰,۱,۲,...:
- گرادیان gₐ = ∇f(xₐ) را محاسبه کنید.
- اگر ||gₐ|| < ε، متوقف شوید.
- یک اندازه گام αₐ انتخاب کنید (با جستجوی خطی، مثلا روش Armijo، یا ثابت).
- xₐ₊₁ = xₐ - αₐ gₐ را به روز کنید.
۳. در جستجوی خطی دقیق، αₐ با کمینه سازی φ(α) = f(xₐ - α gₐ) بدست می آید.
۴. نرخ همگرایی خطی است و به نسبت بزرگ ترین به کوچک ترین مقدار ویژه ماتریس هسین (عدد وضعیت) بستگی دارد.
مثال عددی: تابع f(x) = (x₁-3)² + (x₂-4)² + (x₃-5)² (یک سهمی ساده). گرادیان = 2(x-3, x-4, x-5). از نقطه (0,0,0) با α=0.1: x₁ = (0.6, 0.8, 1.0). تکرار ادامه می یابد تا به (3,4,5) برسیم. همگرایی سریع است چون تابع خوش حالت است.
مزایا: بسیار ساده، حافظه کم، مناسب برای مسائل بزرگ مقیاس در یادگیری ماشین.
معایب: همگرایی کند برای مسائل بدحالت، ممکن است در نقاط زینی گیر کند، نیاز به تنظیم نرخ یادگیری (α).
کاربردها: استاندارد در یادگیری ماشین (با انواع بهبودها مانند مومنتوم، آدام)، در بهینه سازی شبکه های عصبی، در معکوس سازی.
نکته: در یادگیری ماشین، نسخه تصادفی (Stochastic Gradient Descent - SGD) بسیار پرکاربرد است.
