روش های شبه-نیوتن (Quasi-Newton Methods)، در ریاضیات (Mathematics)
انواع روش های بهینه سازی (Optimization Methods) را در آموزش زیر شرح دادیم :
روش های شبه-نیوتن (Quasi-Newton Methods) :
📌 معرفی
روش های شبه-نیوتن (Quasi-Newton Methods) دسته ای از الگوریتم ها هستند که بین روش تندترین کاهش (همگرایی خطی) و روش نیوتن (همگرایی درجه دوم) قرار می گیرند. این روش ها بدون محاسبه مستقیم ماتریس هسین، یک تقریب از آن (یا معکوس آن) را به روزرسانی می کنند.
💡 ایده اصلی
در هر تکرار، با استفاده از تغییرات گرادیان و متغیرها، یک ماتریس
\[ B_k \](تقریب هسین) یا
\[ H_k \](تقریب معکوس هسین) به روزرسانی می شود. این ماتریس ها باید شرط سکانت (Secant Condition) را ارضا کنند:
\[ B_{k+1} (x_{k+1} - x_k) = \nabla f(x_{k+1}) - \nabla f(x_k) \]🔧 معروف ترین روش ها
روش DFP (Davidon-Fletcher-Powell): اولین روش شبه-نیوتن که تقریب معکوس هسین را به روز می کند.
روش BFGS (Broyden-Fletcher-Goldfarb-Shanno): محبوب ترین و مؤثرترین روش شبه-نیوتن که تقریب هسین را به روز می کند. فرمول به روزرسانی BFGS:
\[ B_{k+1} = B_k - \frac{B_k s_k s_k^T B_k}{s_k^T B_k s_k} + \frac{y_k y_k^T}{y_k^T s_k} \]که
\[ s_k = x_{k+1} - x_k \]و
\[ y_k = \nabla f(x_{k+1}) - \nabla f(x_k) \].
روش L-BFGS (Limited-memory BFGS): برای مسائل بزرگ مقیاس که ذخیره ماتریس کامل ممکن نیست، فقط چند بردار از اطلاعات تکرارهای اخیر نگهداری می شود.
📈 ویژگی ها
همگرایی ابرخطی (Superlinear Convergence) – سریع تر از گرادیان کاهشی، کندتر از نیوتن خالص.
نیاز به حافظه کمتر نسبت به نیوتن (مخصوصا L-BFGS).
برای مسائل بزرگ و غیرخطی بسیار مؤثر هستند.
در بسیاری از کتابخانه های بهینه سازی (مانند scipy.optimize) به عنوان روش پیش فرض استفاده می شوند.
