برازش با کمترین مربعات گسسته (Discrete Least Squares Fitting)، در ریاضیات (Mathematics)
انواع روش های عددی (Numerical Methods) را در آموزش زیر شرح دادیم :
برازش با کمترین مربعات گسسته (Discrete Least Squares Fitting) :
توضیح ساده: برازش با کمترین مربعات گسسته یک تعمیم از برازش چندجمله ای است که در آن می توانیم از هر نوع تابعی (نه فقط چندجمله ای) برای برازش استفاده کنیم. توابع پایه می توانند نمایی، لگاریتمی، مثلثاتی، یا ترکیبی از آنها باشند. هدف یافتن ترکیب خطی از این توابع پایه است که بهترین تقریب را بر حسب کمترین مربعات به داده های گسسته بدهد. این روش در تحلیل رگرسیون و یادگیری ماشین بسیار مهم است.
شرح گام به گام: فرض کنید توابع پایه φ₁(x),...,φₙ(x) را انتخاب کرده ایم. می خواهیم تابع f(x) = c₁φ₁(x) + ... + cₙφₙ(x) را به نقاط (xᵢ,yᵢ) برای i=1..m (m > n) برازش دهیم. مجموع مربعات خطا:
\[ E(c_1,...,c_n) = \sum_{i=1}^m (y_i - \sum_{j=1}^n c_j \phi_j(x_i))^2 \]با مشتق گیری نسبت به c_k، به معادلات نرمال می رسیم:
\[ \sum_{j=1}^n c_j \sum_{i=1}^m \phi_j(x_i)\phi_k(x_i) = \sum_{i=1}^m y_i \phi_k(x_i), \quad k=1,...,n \]به صورت ماتریسی: AᵀA c = Aᵀ y، که A ماتریس m×n با درایه های A_{ij} = φ_j(x_i) است. این دستگاه را می توان با روش های عددی حل کرد.
مثال عددی: می خواهیم تابع f(x) = c₁ + c₂ e^x را به نقاط (۰,۲), (۱,۴), (۲,۱۰) برازش دهیم. توابع پایه: φ₁=1, φ₂=e^x. A = [[1, e⁰=1], [1, e¹=2.718], [1, e²=7.389]] AᵀA = [[3, 1+2.718+7.389=11.107], [11.107, 1+7.389+54.6=62.989?؟ باید دقیق: e⁰²=1, e¹²=7.389, e²²=54.6، مجموع=62.989]] Aᵀy = [2+4+10=16, 2*1+4*2.718+10*7.389 = 2+10.872+73.89=86.762] حل دستگاه: c₂ = (3*86.762 - 11.107*16)/(3*62.989 - 11.107²) = (260.286 - 177.712)/(188.967 - 123.365) = 82.574/65.602 = 1.259 c₁ = (16 - 11.107*1.259)/3 = (16 - 13.98)/3 = 2.02/3 = 0.673 تابع برازش: f(x) = 0.673 + 1.259 e^x
مزایا: انعطاف پذیری بالا در انتخاب توابع پایه، قابل استفاده برای انواع داده ها.
معایب: ماتریس AᵀA ممکن است بدحالت شود (به خصوص اگر توابع پایه همبسته باشند). انتخاب توابع پایه مناسب نیاز به دانش قبلی دارد.
کاربردها: در رگرسیون خطی و غیرخطی، در یادگیری ماشین (با توابع پایه شعاعی)، در اقتصادسنجی، در بیوانفورماتیک.
نکته: برای پایداری بهتر، به جای حل معادلات نرمال، از تجزیه QR مستقیما روی A استفاده می شود.
