شبکه عصبی مونت کارلو (Monte Carlo Dropout Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی مونت کارلو (Monte Carlo Dropout Network) :
شبکه عصبی مونت کارلو dropout (MC Dropout) یک روش ساده و مؤثر برای تخمین عدم قطعیت در شبکه های عصبی عمیق است که توسط گال و غهرامانی در سال ۲۰۱۶ معرفی شد. ایده: استفاده از dropout هم در زمان آموزش و هم در زمان آزمون. در زمان آزمون، با فعال ماندن dropout، چندین بار پیش بینی (معمولا ۳۰ تا ۱۰۰ بار) انجام می دهیم. این کار معادل نمونه برداری از یک توزیع تقریبی پسین (با dropout به عنوان یک تقریب واریشنال) است. میانگین این پیش بینی ها به عنوان خروجی نهایی و واریانس آن ها به عنوان معیار عدم قطعیت استفاده می شود.
فرمول: برای ورودی
\[ x \]، خروجی های
\[ \hat{y}^{(1)}, ..., \hat{y}^{(T)} \]با dropout فعال. میانگین
\[ \bar{y} = \frac{1}{T}\sum \hat{y}^{(t)} \]و واریانس (عدم قطعیت)
\[ \sigma^2 = \frac{1}{T}\sum (\hat{y}^{(t)} - \bar{y})^2 \].
مزایا: سادگی (فقط کافی است dropout در زمان آزمون فعال بماند)، عدم نیاز به تغییر در معماری یا تابع هزینه، کارایی خوب. معایب: نیاز به اجرای چندباره مدل (افزایش زمان آزمون).
کاربردها: تخمین عدم قطعیت در طبقه بندی، رگرسیون، یادگیری تقویتی. MC Dropout به یکی از محبوب ترین روش ها برای عدم قطعیت در یادگیری عمیق تبدیل شده است.
