شبکه عصبی با واحد خطی نمایی (ELU Neural Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی با واحد خطی نمایی (ELU Neural Network) :
واحد خطی نمایی (ELU) توسط کلئرت و همکاران در سال ۲۰۱۵ معرفی شد. ELU تلاش می کند مزایای ReLU و Leaky ReLU را با هم ترکیب کند و در عین حال خروجی نزدیک به صفر-مرکز داشته باشد. تعریف ELU:
\[ \text{ELU}(x) = \begin{cases} x & \text{if } x > 0 \\ \alpha (e^x - 1) & \text{if } x \le 0 \end{cases} \]که
\[ \alpha \]یک پارامتر مثبت (معمولا ۱) است. برای مقادیر منفی، ELU به صورت نمایی به سمت
\[ -\alpha \]میل می کند. این باعث می شود خروجی میانگین نزدیک به صفر داشته باشد که می تواند به همگرایی سریع تر کمک کند (زیرا گرادیان ها به سمت بهینه طبیعی تر حرکت می کنند).
مزایا ELU نسبت به ReLU: کاهش bias shift (به دلیل نزدیک بودن میانگین به صفر)، مقاوم تر بودن در برابر نویز (ناحیه منفی صاف و محدود)، و همچنان داشتن مشتق غیرصفر برای مقادیر منفی که مشکل مرگ ReLU را کاهش می دهد. معایب: هزینه محاسباتی بیشتر (به دلیل نمایی) نسبت به ReLU و Leaky ReLU.
کاربردها: در شبکه های عمیق (به خصوص در وظایف بینایی کامپیوتر) به عنوان جایگزین ReLU. برخی مطالعات نشان داده اند ELU می تواند باعث همگرایی سریع تر و دقت بهتر در برخی مسائل شود.
نسخه بهبودیافته ای به نام SELU (Scaled ELU) توسط همان نویسندگان معرفی شد که با نرمال سازی خودکار (self-normalizing) ویژگی ها را به میانگین صفر و واریانس واحد نزدیک نگه می دارد و برای شبکه های عمیق بسیار مؤثر است.
