روش نیوتن تعدیل یافته (Modified Newton's Method)، در ریاضیات (Mathematics)
انواع روش های بهینه سازی (Optimization Methods) را در آموزش زیر شرح دادیم :
روش نیوتن تعدیل یافته (Modified Newton's Method) :
📌 معرفی
روش نیوتن تعدیل یافته (Modified Newton's Method) برای رفع مشکلات روش نیوتن خالص (مانند واگرایی یا نیاز به محاسبه معکوس هسین) طراحی شده است.
🔧 انواع تعدیل ها
استفاده از جستجوی خطی: به جای گام کامل، از یک جستجوی خطی برای تعیین اندازه گام استفاده می شود:
\[ x_{k+1} = x_k - \alpha_k [\nabla^2 f(x_k)]^{-1} \nabla f(x_k) \]تعدیل هسین (Hessian Modification): اگر هسین معین مثبت نباشد (برای مسائل کمینه سازی)، آن را با اضافه کردن یک ماتریس قطری به معین مثبت تبدیل می کنیم (مثلا با روش لیونبرگ-مارکوارت).
استفاده از ناحیه اطمینان (Trust Region): به جای جستجوی خطی، جهت نیوتن در یک ناحیه اطمینان محدود می شود.
به روزرسانی گاه به گاه هسین: به جای محاسبه هسین در هر تکرار، آن را برای چند تکرار ثابت نگه می داریم.