شبکه عصبی با واحد خطی پارامتری (PReLU Neural Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی با واحد خطی پارامتری (PReLU Neural Network) :
PReLU (Parametric ReLU) توسط هه و همکاران در مقاله ای که شبکه های باقیمانده (ResNet) را معرفی کرد، ارائه شد. PReLU یک تعمیم از Leaky ReLU است که در آن شیب ناحیه منفی (
\[ \alpha \]) یک پارامتر قابل یادگیری برای هر کانال (یا هر نرون) است. یعنی
\[ \alpha \]در طول آموزش با گرادیان کاهشی به روز می شود.
فرمول PReLU:
\[ \text{PReLU}(x_i) = \max(0, x_i) + \alpha_i \min(0, x_i) \]یا به طور معادل
\[ \text{PReLU}(x_i) = x_i \]اگر
\[ x_i>0 \]و
\[ \alpha_i x_i \]اگر
\[ x_i \le 0 \]. در اینجا
\[ i \]اندیس کانال است.
مزایا: انعطاف پذیری بالا (یادگیری شیب مناسب برای هر کانال)، احتمال بهبود دقت (چون می تواند بهینه تری از شیب ثابت پیدا کند)، عدم افزایش قابل توجه تعداد پارامترها (یک پارامتر اضافه به ازای هر کانال). PReLU در ResNetها استفاده شد و بهبود دقت کوچکی نسبت به ReLU ایجاد کرد.
معایب: خطر بیش برازش (overfitting) اگر داده کم باشد، اما معمولا با regularization مناسب کنترل می شود. همچنین ممکن است
\[ \alpha \]به مقادیر منفی بزرگ برود که می تواند ناپایداری ایجاد کند (اما در عمل به ندرت).
کاربردها: در شبکه های عمیق مدرن، مخصوصا ResNet و مشتقات آن. PReLU نشان داد که تنظیم خودکار پارامترهای فعال سازی می تواند مفید باشد.
در مجموع، خانواده ReLU (شامل Leaky ReLU، PReLU، ELU، SELU) همچنان محبوب ترین انتخاب ها برای لایه های پنهان هستند و انتخاب بین آنها بستگی به مسئله و تجربه عملی دارد.
