روش کاهشی (Descent Methods)، در ریاضیات (Mathematics)
انواع روش های عددی (Numerical Methods) را در آموزش زیر شرح دادیم :
روش کاهشی (Descent Methods) :
خانواده ای از روش های بهینه سازی که در جهت کاهش تابع حرکت می کنند
توضیح ساده: روش های کاهشی (Descent Methods) دسته ای از روش های بهینه سازی تکراری هستند که در هر گام، در جهتی حرکت می کنند که مقدار تابع هدف کاهش یابد. جهت حرکت معمولا بر اساس گرادیان (یا تقریبی از آن) تعیین می شود. اندازه گام نیز با روش هایی مانند جستجوی خطی (Line Search) یا اندازه ثابت انتخاب می شود. معروف ترین عضو این خانواده، روش گرادیان کاهشی (Steepest Descent) است. این روش ها برای بهینه سازی توابع محدب و غیرمحدب کاربرد دارند.
شرح گام به گام: ساختار کلی روش های کاهشی:
۱. با یک نقطه شروع x₀ شروع کنید.
۲. برای k = ۰,۱,۲,... تا همگرایی:
- یک جهت کاهش dₐ انتخاب کنید که در آن ∇f(xₐ)ᵀ dₐ < 0 (یعنی زاویه با گرادیان منفی کمتر از ۹۰ درجه).
- یک اندازه گام αₐ > 0 انتخاب کنید (با جستجوی خطی یا روش های دیگر).
- xₐ₊₁ = xₐ + αₐ dₐ را به روز کنید.
۳. معیارهای همگرایی: ||∇f(xₐ)|| کوچک یا تغییر در xₐ کوچک.
انواع جهت ها: منفی گرادیان (روش گرادیان کاهشی)، جهت نیوتن، جهت شبه-نیوتن، جهت گرادیان مزدوج.
مثال عددی: تابع f(x,y) = x² + 10y². گرادیان = (2x, 20y). از نقطه (1,1) شروع می کنیم. جهت گرادیان کاهشی d = -∇f = (-2, -20). با جستجوی خطی، گام بهینه α ≈ 0.023 محاسبه می شود. نقطه جدید: (0.954, 0.54). این روند تا رسیدن به کمینه (0,0) ادامه می یابد.
مزایا: ساده، قابل فهم، همگرایی تضمینی برای توابع محدب.
معایب: همگرایی ممکن است کند باشد (به ویژه در دره های باریک). وابسته به انتخاب گام.
کاربردها: در یادگیری ماشین (گرادیان کاهشی تصادفی)، در بهینه سازی مهندسی، در کنترل بهینه.
نکته: روش های کاهشی پایه ای برای بسیاری از الگوریتم های بهینه سازی هستند.
