شبکه عصبی بیزی (Bayesian Neural Network - BNN)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی بیزی (Bayesian Neural Network - BNN) :
شبکه عصبی بیزی (BNN) یک نوع شبکه عصبی است که عدم قطعیت را در وزن ها و پیش بینی ها مدل می کند. در BNN، به جای داشتن وزن های قطعی، یک توزیع احتمال روی وزن ها در نظر گرفته می شود. با مشاهده داده، این توزیع با استفاده از قانون بیز به روزرسانی می شود (محاسبه توزیع پسین). سپس برای پیش بینی، از توزیع پسین وزن ها نمونه برداری شده و میانگین و واریانس پیش بینی محاسبه می شود.
فرمول پایه:
\[ P(W|D) = \frac{P(D|W)P(W)}{P(D)} \].
\[ P(W) \]توزیع پیشین (مثلا نرمال) و
\[ P(D|W) \]درست نمایی (likelihood) است. محاسبه دقیق
\[ P(W|D) \]در شبکه های عمیق غیرممکن است، بنابراین از روش های تقریبی مانند واریشنال استنباط (Variational Inference) یا مونت کارلو dropout استفاده می شود.
در روش واریشنال، یک توزیع ساده
\[ q_\theta(W) \](مثلا نرمال با میانگین و واریانس قابل یادگیری) را به توزیع پسین واقعی نزدیک می کنیم (با کمینه کردن واگرایی KL). dropout در هنگام آزمون (Monte Carlo dropout) نیز یک روش ساده برای تخمین عدم قطعیت است: با فعال نگه داشتن dropout در زمان آزمون و چندین بار پیش بینی، می توان میانگین و واریانس را تخمین زد.
مزایا BNN: ارائه عدم قطعیت همراه با پیش بینی (برای تصمیم گیری ایمن تر)، مقاومت در برابر overfitting (با میانگین گیری روی مدل ها). معایب: هزینه محاسباتی بالاتر، پیچیدگی در آموزش. کاربردها: سیستم های حیاتی (پزشکی، خودروهای خودران)، یادگیری تقویتی، بهینه سازی.
