روش کمترین مربعات (Least Squares Method)، در ریاضیات (Mathematics)
انواع روش های عددی (Numerical Methods) را در آموزش زیر شرح دادیم :
روش کمترین مربعات (Least Squares Method) :
\[ \min_x \|Ax - b\|_2^2 \]توضیح ساده: روش کمترین مربعات برای مواقعی استفاده می شود که تعداد معادلات بیشتر از مجهولات است (دستگاه overdetermined) و نمی توانیم جواب دقیق پیدا کنیم. به جای آن، به دنبال x می گردیم که خطای Ax-b را کمینه کند. این کار با کمینه کردن مجموع مربعات خطاها انجام می شود. این روش در آمار، یادگیری ماشین، و بسیاری از علوم کاربرد دارد. مانند این است که بخواهیم یک خط را از بین چندین نقطه عبور دهیم به طوری که مجموع فاصله های عمودی نقاط از خط کمینه شود.
شرح گام به گام: دو نوع اصلی داریم: خطی و غیرخطی. در حالت خطی، مسئله به فرم min ||Ax-b||² است. جواب بهینه از حل معادلات نرمال (Normal Equations) بدست می آید: AᵀAx = Aᵀb. این دستگاه یک دستگاه n معادله n مجهول است که می توان آن را با روش های مستقیم یا تکراری حل کرد. در روش کمترین مربعات غیرخطی، تابع مدل غیرخطی است و از روش های تکراری مثل گاوس-نیوتن یا لونبرگ-مارکوارت استفاده می شود.
مثال عددی: می خواهیم خط y = a + bx را به نقاط (1,2)، (2,3)، (3,5) برازش دهیم. دستگاه: a + b*1 = 2، a + b*2 = 3، a + b*3 = 5. به صورت ماتریسی:
\[ A = \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix}, \quad b = \begin{bmatrix} 2 \\ 3 \\ 5 \end{bmatrix} \]AᵀA = [[3, 6], [6, 14]]، Aᵀb = [[10], [23]] حل دستگاه ۲×۲: از معادله اول: 3a + 6b = 10 معادله دوم: 6a + 14b = 23 حل: a = 1، b = 1.1667. بنابراین خط y = 1 + 1.1667x بهترین برازش است.
مزایا: روش استاندارد برای مسائل بیش از حد معین، پایدار و قابل فهم.
معایب: معادلات نرمال ممکن است بدحالت باشند (شرطی شدن بد). برای مسائل بسیار بزرگ، حل AᵀAx = Aᵀb پرهزینه است.
کاربردها: در رگرسیون خطی و غیرخطی در آمار، در پردازش سیگنال، در تخمین پارامترها، در یادگیری ماشین، در بینایی کامپیوتر.
نکته: برای پایداری عددی بهتر، به جای حل معادلات نرمال، از تجزیه QR یا SVD استفاده می شود.
