روش گرادیان مزدوج (Conjugate Gradient Method)، در ریاضیات (Mathematics)
انواع روش های بهینه سازی (Optimization Methods) را در آموزش زیر شرح دادیم :
روش گرادیان مزدوج (Conjugate Gradient Method) :
📌 معرفی
روش گرادیان مزدوج (Conjugate Gradient) یک روش تکراری برای حل دستگاه معادلات خطی با ماتریس معین مثبت و همچنین برای بهینه سازی توابع درجه دوم است. این روش توسط Hestenes و Stiefel در سال ۱۹۵۲ ابداع شد. برای توابع غیرخطی، نسخه های تعمیم یافته ای مانند CG غیرخطی (Nonlinear CG) وجود دارد.
🔧 ایده اصلی
در روش گرادیان مزدوج، جهت های جستجو به گونه ای انتخاب می شوند که نسبت به ماتریس هسین مزدوج (Conjugate) باشند. یعنی
\[ d_i^T H d_j = 0 \]برای
\[ i \neq j \]. این ویژگی باعث می شود که برای یک تابع درجه دوم با
\[ n \]متغیر، روش در حداکثر
\[ n \]تکرار به جواب برسد.