روش L-BFGS (انگلیسی : Limited-memory BFGS)، در ریاضیات (Mathematics)
انواع روش های بهینه سازی (Optimization Methods) را در آموزش زیر شرح دادیم :
روش L-BFGS (انگلیسی : Limited-memory BFGS) :
📌 معرفی
روش L-BFGS (Limited-memory BFGS) نسخه ای از BFGS است که برای مسائل بهینه سازی با ابعاد بسیار بزرگ (بیش از هزاران متغیر) طراحی شده است. در این روش، به جای ذخیره یک ماتریس کامل
\[ n \times n \]، فقط تعداد کمی بردار (معمولا بین ۳ تا ۲۰) از اطلاعات تکرارهای اخیر ذخیره می شود.
💡 ایده اصلی
در L-BFGS، جهت جستجو بدون تشکیل صریح ماتریس هسین محاسبه می شود. با ذخیره کردن جفت های
\[ (s_i, y_i) \]از چند تکرار اخیر، می توان حاصلضرب
\[ H_k \nabla f(x_k) \]را به طور مؤثر محاسبه کرد. این کار با استفاده از یک الگوریتم بازگشتی دو حلقه ای (Two-loop recursion) انجام می شود.
📊 ویژگی ها
حافظه کم: فقط
\[ O(m n) \]حافظه نیاز دارد (به جای
\[ O(n^2) \]).
مناسب برای مسائل بزرگ مقیاس: مانند بهینه سازی در یادگیری عمیق و مسائل با میلیون ها متغیر.
همگرایی: همچنان همگرایی ابرخطی دارد اما به دلیل حافظه محدود، نرخ همگرایی ممکن است کمی کمتر از BFGS کامل باشد.
موفقیت در عمل: L-BFGS یکی از محبوب ترین روش ها برای بهینه سازی بدون قید در مقیاس بزرگ است.
