شبکه عصبی با واحد خطی یکسوساز نشتی (Leaky ReLU Neural Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی با واحد خطی یکسوساز نشتی (Leaky ReLU Neural Network) :
Leaky ReLU (LReLU) یک نوع بهبود یافته ReLU است که برای رفع مشکل "مرگ ReLU" طراحی شده. در ReLU معمولی، برای مقادیر منفی، خروجی صفر و مشتق صفر است که باعث می شود نرون برای همیشه غیرفعال شود. در Leaky ReLU، برای مقادیر منفی یک شیب کوچک (مثلا ۰.۰۱) در نظر گرفته می شود:
\[ \text{LReLU}(x) = \max(\alpha x, x) \]با
\[ \alpha \]یک عدد کوچک مثبت (معمولا ۰.۰۱).
فرمول دقیق:
\[ \text{LReLU}(x) = x \]اگر
\[ x>0 \]و
\[ \alpha x \]اگر
\[ x \le 0 \]. این کار باعث می شود نرون های منفی هم بتوانند گرادیان کوچکی دریافت کنند و احتمالا بعدا فعال شوند. مزیت دیگر، حفظ اطلاعات حتی در ناحیه منفی است.
پارامتر
\[ \alpha \]معمولا ثابت و کوچک انتخاب می شود (مثلا ۰.۰۱). در برخی کارها از
\[ \alpha \]قابل یادگیری (Parametric ReLU) استفاده می شود. Leaky ReLU عملکرد بهتری نسبت به ReLU در برخی مسائل نشان داده است، اما همیشه اینطور نیست. معمولا تفاوت ها کوچک است.
کاربردها: در شبکه های عمیق به عنوان جایگزین ReLU برای جلوگیری از مرگ نرون ها، به ویژه در معماری های GAN (مانند DCGAN که از Leaky ReLU در تمایزگر استفاده می کند).
