شبکه عصبی با واحد خطی یکسوساز (ReLU Neural Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی با واحد خطی یکسوساز (ReLU Neural Network) :
شبکه عصبی با فعال سازی ReLU (Rectified Linear Unit) امروزه رایج ترین نوع شبکه برای لایه های پنهان است. تابع ReLU به صورت
\[ \text{ReLU}(x) = \max(0, x) \]تعریف می شود. این تابع بسیار ساده، غیرخطی، و دارای مشتق ۱ برای
\[ x>0 \]و ۰ برای
\[ x<0 \]است. مزایای اصلی آن: عدم اشباع برای مقادیر مثبت (رفع مشکل محو شدن گرادیان)، سرعت محاسباتی بالا، ایجاد تنکی (sparsity) در فعال سازی ها (چون بخشی از نرون ها صفر می شوند).
فرمول یک لایه ReLU:
\[ h = \max(0, Wx + b) \]. ReLU در سال ۲۰۱۱ توسط گلور و همکاران در معماری های عمیق رایج شد و به یکی از دلایل موفقیت یادگیری عمیق تبدیل گشت. شبکه های بسیار عمیق مانند ResNet و VGG از ReLU استفاده می کنند.
معایب ReLU: مشکل "مرگ ReLU" (dying ReLU) برای نرون هایی که همیشه خروجی منفی دارند (شیب صفر و توقف یادگیری). برای رفع آن، انواعی مانند Leaky ReLU و PReLU ارائه شده است. همچنین خروجی ReLU میانگین محور نیست.
کاربردها: تقریبا در همه مدل های مدرن یادگیری عمیق برای لایه های پنهان (به جز برخی مانند سیگموئید در خروجی). ReLU سادگی و کارایی خود را ثابت کرده است.
