طبقه بندی کننده بیز (Bayesian Optimal Classification)، در ریاضیات (Mathematics)
انواع روش های بهینه سازی (Optimization Methods) را در آموزش زیر شرح دادیم :
طبقه بندی کننده بیز (Bayesian Optimal Classification) :
📌 معرفی
طبقه بندی کننده بیز (Bayesian Optimal Classification) یک رویکرد نظری برای طبقه بندی است که با فرض دانستن توزیع احتمالی واقعی داده ها، بهترین عملکرد ممکن (کمترین خطا) را ارائه می دهد. این طبقه بندی کننده یک نمونه را به کلاسی نسبت می دهد که بیشترین احتمال پسین (Posterior Probability) را داشته باشد. در عمل، توزیع واقعی نامشخص است و ما آن را از داده ها تخمین می زنیم.
📐 فرمول بندی (قاعده بیز)
\[ \hat{y} = \arg\max_{k \in \{1,...,K\}} P(Y=k | X=x) = \arg\max_{k} \frac{P(X=x|Y=k) P(Y=k)}{P(X=x)} \]از آنجا که
\[ P(X=x) \]برای همه کلاس ها یکسان است، می توان آن را نادیده گرفت:
\[ \hat{y} = \arg\max_{k} P(X=x|Y=k) P(Y=k) \] \[ P(Y=k) \]احتمال پیشین (Prior) کلاس k است و
\[ P(X=x|Y=k) \]تابع درست نمایی (Likelihood) است.
🔧 انواع طبقه بندی کننده های بیزی
طبقه بندی کننده بیز ساده (Naive Bayes): فرض می کند که ویژگی ها با شرط داشتن کلاس، مستقل هستند. این فرض ساده کننده باعث می شود مدل ساده و کارآمد باشد، حتی اگر فرض استقلال نقض شود.
آنالیز افتراقی گاوسی (Gaussian Discriminant Analysis): فرض می کند
\[ P(X|Y=k) \]از توزیع نرمال چندمتغیره پیروی می کند.
