روش گرادیان کاهشی (Steepest Descent Method for Systems)، در ریاضیات (Mathematics)
انواع روش های عددی (Numerical Methods) را در آموزش زیر شرح دادیم :
روش گرادیان کاهشی (Steepest Descent Method for Systems) :
\[ x_{k+1} = x_k - \alpha_k \nabla \phi(x_k) \]که
\[ \phi(x) = \frac{1}{2} \|F(x)\|^2 \]توضیح ساده: روش گرادیان کاهشی برای دستگاه های غیرخطی، مسئله F(x)=0 را به یک مسئله بهینه سازی تبدیل می کند: تابع φ(x) = ½ ||F(x)||² را کمینه می کنیم. اگر F(x)=0، آنگاه φ(x)=0 و به کمینه مطلق می رسیم. سپس از روش گرادیان کاهشی برای کمینه سازی φ استفاده می کنیم. این روش ساده و پایدار است، اما کند است. مانند این است که در یک دره، همیشه در جهت شیب دارترین مسیر به سمت پایین حرکت کنیم، که ممکن است زیگزاگ بزند.
شرح گام به گام: تابع φ(x) = ½ ∑ [Fᵢ(x)]² را تعریف می کنیم. گرادیان φ برابر است با ∇φ(x) = J(x)ᵀ F(x)، که J ماتریس ژاکوبی F است. الگوریتم:
۱. با یک حدس اولیه x₀ شروع کنید.
۲. در هر تکرار k، جهت جستجو را dₖ = -∇φ(xₖ) = -J(xₖ)ᵀ F(xₖ) قرار دهید.
۳. اندازه گام αₖ را انتخاب کنید (با جستجوی خطی یا مقدار ثابت).
۴. xₖ₊₁ = xₖ + αₖ dₖ را به روز کنید.
۵. تا همگرایی (کوچک شدن ||F(xₖ)||) تکرار کنید.
این روش تضمین می کند که φ در هر تکرار کاهش می یابد، اما همگرایی آن خطی است و ممکن است کند باشد.
مثال عددی: همان دستگاه قبل: F = [x²+y²-4, x²-y-1]ᵀ در نقطه x₀=[1,1]ᵀ: F = [-2, -1]ᵀ J = [[2,2],[2,-1]] ∇φ = JᵀF = [[2,2],[2,-1]]ᵀ [-2,-1]ᵀ = [[2* -2 + 2* -1], [2* -2 + (-1)* -1]]? بهتره دقیق: ∇φ₁ = 2*(-2) + 2*(-1) = -4 -2 = -6 ∇φ₂ = 2*(-2) + (-1)*(-1) = -4 +1 = -3 پس d₀ = -∇φ = [6,3]ᵀ (چون جهت مخالف گرادیان است). این جهت با جهت نیوتن [0.6667,0.3333] متفاوت است. انتخاب گام: با جستجوی خطی ساده، α=0.1 را امتحان می کنیم: x₁ = [1+0.6, 1+0.3] = [1.6,1.3] F(x₁) = [1.6²+1.3²-4=2.56+1.69-4=0.25, 1.6²-1.3-1=2.56-2.3=0.26]، φ=½(0.25²+0.26²)=0.5*(0.0625+0.0676)=0.065، که نسبت به φ₀=½(4+1)=2.5 کاهش خوبی داشته. ادامه می دهیم تا به جواب نزدیک شویم.
مزایا: ساده، پایدار، تضمین کاهش تابع هزینه در هر تکرار (با انتخاب مناسب گام).
معایب: کندی همگرایی، به ویژه در نزدیکی جواب (همگرایی خطی). ممکن است زیگزاگ کند.
کاربردها: در مسائل کوچک، به عنوان روشی برای شروع و نزدیک شدن به جواب قبل از استفاده از روش های سریع تر، در آموزش شبکه های عصبی (گرادیان کاهشی ساده).
نکته: در عمل، روش های پیشرفته تری مثل نیوتن یا شبه-نیوتن ترجیح داده می شوند، مگر در مسائل بسیار بزرگ که روش های گرادیان کاهشی با انواع بهبودها (مثل مومنتوم، آدام) کاربرد دارند.
