روش تندترین کاهش (Steepest Descent Method)، در ریاضیات (Mathematics)
انواع روش های بهینه سازی (Optimization Methods) را در آموزش زیر شرح دادیم :
روش تندترین کاهش (Steepest Descent Method) :
📌 ایده اصلی
روش تندترین کاهش (Steepest Descent) یا گرادیان کاهشی (Gradient Descent) ساده ترین روش مبتنی بر گرادیان برای بهینه سازی بدون قید است. ایده اصلی این است که در هر تکرار، در جهت مخالف گرادیان (که جهت سریع ترین کاهش موضعی است) حرکت کنیم.
\[ x_{k+1} = x_k - \alpha_k \nabla f(x_k) \]که
\[ \alpha_k \]اندازه گام است.
📉 رفتار همگرایی
همگرایی خطی (نرخ همگرایی پایین).
اگر تابع به شدت ایلپتیک (Ill-conditioned) باشد، مسیر حرکت زیگزاگی می شود و همگرایی بسیار کند است.
برای توابع درجه دوم با ماتریس هسین
\[ H \]، نرخ همگرایی به شرطی شدن (Condition Number)
\[ H \]وابسته است:
\[ \frac{f(x_{k+1}) - f^*}{f(x_k) - f^*} \leq \left( \frac{\kappa - 1}{\kappa + 1} \right)^2 \]که
\[ \kappa \]عدد شرطی ماتریس هسین است.
⚙️ انتخاب اندازه گام
اندازه گام ثابت (Fixed Step Size): ساده اما ممکن است واگرا شود.
اندازه گام کاهشی (Diminishing Step Size): مانند
\[ \alpha_k = \frac{c}{k} \].
جستجوی خطی دقیق (Exact Line Search): یافتن
\[ \alpha \]که
\[ f(x_k - \alpha \nabla f(x_k)) \]را کمینه کند.
جستجوی خطی با شرایط آرمیخو (Armijo condition) و روش پس گرد (Backtracking).
