روش ضرایب لاگرانژ (Lagrange Multiplier Methods)، در ریاضیات (Mathematics)
انواع روش های عددی (Numerical Methods) را در آموزش زیر شرح دادیم :
روش ضرایب لاگرانژ (Lagrange Multiplier Methods) :
\[ \mathcal{L}(x,\lambda) = f(x) - \lambda g(x) \]توضیح ساده: روش ضرایب لاگرانژ یک روش کلاسیک برای حل مسائل بهینه سازی مقید با قیود برابری است. ایده اصلی این است که با معرفی ضرایب جدید (ضریب لاگرانژ)، مسئله مقید را به یک مسئله نامقید تبدیل کنیم. جواب بهینه باید در نقطه ای باشد که گرادیان تابع هدف موازی با گرادیان قید (و در جهت مخالف) باشد. این شرط منجر به دستگاه معادلاتی می شود که با حل آن، نقطه بهینه و ضرایب لاگرانژ به دست می آیند. برای مسائل با قیود نامساوی، از شرایط KKT (Karush-Kuhn-Tucker) استفاده می شود که تعمیم روش ضرایب لاگرانژ است.
شرح گام به گام: برای مسئله minimize f(x) subject to g(x) = 0:
۱. تابع لاگرانژ را تعریف کنید: L(x, λ) = f(x) + λ g(x) (علامت بستگی به قرارداد دارد).
۲. شرایط لازم برای بهینگی (مرتبه اول):
\[ \nabla_x L = \nabla f(x) + \lambda \nabla g(x) = 0 \] \[ \frac{\partial L}{\partial \lambda} = g(x) = 0 \]۳. این دستگاه n+1 معادله (با n متغیر x و یک λ) را حل کنید.
۴. برای مسائل با قیود نامساوی g(x) ≤ 0، شرایط KKT:
\[ \nabla f(x) + \sum \lambda_i \nabla g_i(x) = 0 \] \[ \lambda_i \ge 0 \] \[ \lambda_i g_i(x) = 0 \] \[ g_i(x) \le 0 \]این شرایط پایه ای برای بسیاری از الگوریتم های بهینه سازی هستند.
مثال عددی: کمینه سازی f(x,y) = x² + y² با قید x + y = 1. تابع لاگرانژ: L = x² + y² + λ(x+y-1). مشتقات: 2x + λ = 0, 2y + λ = 0, x+y=1. حل: x=y, 2x=1 ⇒ x=0.5, y=0.5, λ=-1. نقطه (0.5,0.5) کمینه با مقدار 0.5 است.
مزایا: پایه ریاضی قوی، تحلیل نظری دقیق، پایه ای برای الگوریتم های پیشرفته.
معایب: معمولا برای مسائل کوچک و تحلیلی استفاده می شود. برای مسائل بزرگ و غیرخطی، حل دستگاه معادلات غیرخطی حاصل دشوار است.
کاربردها: در اقتصاد (بهینه سازی مطلوبیت)، در فیزیک (اصل کمترین عمل)، در یادگیری ماشین (روش ضرایب لاگرانژ برای SVM).
نکته: شرایط KKT به افتخار Karush، Kuhn، و Tucker نامگذاری شده است.
