روش گرادیان کاهشی (Steepest Descent Method)، در ریاضیات (Mathematics)
انواع روش های عددی (Numerical Methods) را در آموزش زیر شرح دادیم :
روش گرادیان کاهشی (Steepest Descent Method) :
\[ x_{k+1} = x_k - \alpha_k \nabla f(x_k) \]توضیح ساده: روش گرادیان کاهشی یک روش اساسی در بهینه سازی و حل دستگاه های خطی است. ایده بسیار ساده است: برای پیدا کردن کمینه یک تابع (مثل تابع f(x) = ½ xᵀAx - bᵀx که کمینه آن جواب دستگاه Ax=b است)، در جهت مخالف گرادیان حرکت می کنیم، چون گرادیان جهت بیشترین افزایش را نشان می دهد. پس مخالف گرادیان جهت بیشترین کاهش است. مانند این است که در یک دره، همیشه به سمت شیب دارترین مسیر به سمت پایین حرکت کنیم.
شرح گام به گام: برای دستگاه Ax=b با A متقارن مثبت معین، گرادیان تابع f در نقطه x برابر است با ∇f(x) = Ax - b = -r، که r همان باقیمانده است. پس جهت حرکت برابر با r است. اندازه گام α باید طوری انتخاب شود که تابع در آن جهت کمینه شود. با یک جستجوی خطی، α بهینه برابر α = (rᵀr)/(rᵀAr) بدست می آید. بنابراین الگوریتم: rₖ = b - Axₖ، αₖ = (rₖᵀrₖ)/(rₖᵀArₖ)، xₖ₊₁ = xₖ + αₖ rₖ.
مثال عددی: با همان دستگاه مثال قبل: A = [[3,1],[1,2]], b=[5,5], x₀=[0,0]. r₀ = [5,5] α₀ = (50)/(175) = 2/7 ≈ 0.2857 (همان α در روش گرادیان مزدوج) x₁ = [0,0] + 0.2857*[5,5] = [1.4285,1.4285] r₁ = b - Ax₁ = [5,5] - ( [3*1.4285+1*1.4285, 1*1.4285+2*1.4285] ) = [5,5] - [5.714, 4.2855] = [-0.714, 0.7145] α₁ = (r₁ᵀr₁)/(r₁ᵀAr₁) = (0.51+0.51)/(r₁ᵀAr₁). محاسبه r₁ᵀAr₁ ≈ 1.02/ (مقداری) ≈ ... ادامه می دهیم. مشاهده می کنیم که مسیر حرکت زیگزاگی است و ممکن است به کندی به جواب برسد.
مقایسه با گرادیان مزدوج: روش گرادیان کاهشی ساده تر است اما همگرایی کندتری دارد (خطی) و ممکن است زیگزاگ کند. روش گرادیان مزدوج با انتخاب جهت های مزدوج این مشکل را حل می کند.
کاربردها: در بهینه سازی عمومی، در یادگیری ماشین (با نام Gradient Descent)، در آموزش شبکه های عصبی.
نکته: در مسائل بسیار بزرگ که روش های مستقیم ممکن نیستند، گرادیان کاهشی و انواع بهبود یافته آن (مثل گرادیان مزدوج) کاربرد فراوان دارند.
