روش بی اف جی اس (BFGS - Broyden-Fletcher-Goldfarb-Shanno Method)، در ریاضیات (Mathematics)
انواع روش های عددی (Numerical Methods) را در آموزش زیر شرح دادیم :
روش بی اف جی اس (BFGS - Broyden-Fletcher-Goldfarb-Shanno Method) :
محبوب ترین روش شبه-نیوتن
توضیح ساده: روش BFGS محبوب ترین و موفق ترین روش در خانواده روش های شبه-نیوتن است. این روش به طور مستقل توسط برویدن، فلچر، گلدفارب و شانو در سال ۱۹۷۰ معرفی شد. BFGS از یک فرمول به روزرسانی برای تقریب ماتریس هسین (یا معکوس آن) استفاده می کند که پایداری عددی خوبی دارد. این روش استاندارد برای حل مسائل بهینه سازی نامقید با ابعاد کوچک تا متوسط است و در بسیاری از نرم افزارها (مانند fminunc در MATLAB) پیاده سازی شده است.
شرح گام به گام: فرمول به روزرسانی BFGS برای معکوس هسین (H):
\[ H_{k+1} = (I - \frac{s_k y_k^T}{y_k^T s_k}) H_k (I - \frac{y_k s_k^T}{y_k^T s_k}) + \frac{s_k s_k^T}{y_k^T s_k} \]ویژگی های مهم:
- اگر Hₐ متقارن و مثبت معین باشد و yₐᵀ sₐ > 0، آنگاه Hₐ₊₁ نیز مثبت معین است.
- برای توابع درجه دوم، جهت های تولید شده مزدوج هستند و روش در n تکرار همگرا می شود.
- همگرایی ابرخطی (Superlinear) برای توابع غیرخطی.
در عمل، معمولا H₀ = I انتخاب می شود.
مثال عددی: تابع رزنباک (Rosenbrock) f(x) = 100(x₂ - x₁²)² + (1 - x₁)². BFGS با شروع از (-1,1) معمولا در ۳۰-۵۰ تکرار به جواب (1,1) می رسد. روش گرادیان کاهشی با جستجوی خطی ممکن است هزاران تکرار نیاز داشته باشد. این نشان دهنده کارایی بالای BFGS است.
مزایا: همگرایی سریع، پایدار، بدون نیاز به هسین تحلیلی، استاندارد صنعتی.
معایب: نیاز به ذخیره سازی ماتریس n×n (برای n>1000 غیرعملی می شود)، هزینه هر تکرار O(n²).
کاربردها: در بهینه سازی مهندسی، در اقتصاد، در یادگیری ماشین (برای مسائل با ابعاد متوسط).
نکته: نسخه حافظه محدود L-BFGS برای مسائل بزرگ طراحی شده است.
