شبکه عصبی با فعال سازی Swish (انگلیسی : Swish Neural Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی با فعال سازی Swish (انگلیسی : Swish Neural Network) :
Swish یک تابع فعال سازی جدید است که توسط محققان Google (رامچندران و همکاران) در سال ۲۰۱۷ معرفی شد. این تابع به صورت
\[ \text{Swish}(x) = x \cdot \sigma(x) \]تعریف می شود که در آن
\[ \sigma(x) = \frac{1}{1+e^{-x}} \]تابع سیگموئید است. Swish ترکیبی از خطی بودن و غیرخطی بودن است و ویژگی های جالبی دارد: بدون کران (unbounded) در ناحیه مثبت، کراندار در ناحیه منفی، و غیریکنوا (non-monotonic).
فرمول دقیق Swish:
\[ \text{Swish}(x) = x \cdot \frac{1}{1+e^{-x}} \]. مشتق آن نیز به صورت
\[ \sigma(x) + x \cdot \sigma(x)(1-\sigma(x)) \]است که هموار و قابل محاسبه است.
مطالعات نشان دادند Swish می تواند در شبکه های عمیق (با عمق ۴۰ به بالا) عملکرد بهتری نسبت به ReLU داشته باشد. دلیل احتمالی این است که مشتق صفر برای مقادیر منفی در ReLU می تواند باعث از دست رفتن اطلاعات شود، در حالی که Swish برای مقادیر منفی منفی کوچک دارد (به دلیل ضرب در سیگموئید). همچنین خاصیت غیریکنوایی آن (یک قله کوچک در حدود ۱-) ممکن به شبکه اجازه دهد اطلاعات بیشتری جریان دهد.
در مقاله، نشان داده شد که Swish بر روی مجموعه داده های ImageNet با معماری های مختلف (مانند MobileNet، Inception-ResNet) بهبود دقت ایجاد می کند. نسخه ای با پارامتر قابل یادگیری به نام Swish-β (
\[ \text{Swish}_\beta(x) = x \cdot \sigma(\beta x) \]) نیز معرفی شد که
\[ \beta \]می تواند آموزش ببیند. با تنظیم
\[ \beta \]، می توان بین رفتار ReLU (وقتی
\[ \beta \to \infty \]،
\[ \text{Swish}(x) \to \max(0,x) \]) و سیگموئید خطی شده (وقتی
\[ \beta=0 \]،
\[ \text{Swish}(x) = x/2 \]) سازگار شد.
کاربردها: در معماری های مدرن مانند EfficientNet (که از Swish به عنوان فعال سازی اصلی استفاده می کند) و Transformerها (در برخی پیاده سازی ها). Swish امروزه به عنوان یکی از بهترین توابع فعال سازی برای شبکه های عمیق شناخته می شود و در بسیاری از کتابخانه های یادگیری عمیق گنجانده شده است.
مزایا: عملکرد بهتر از ReLU در شبکه های عمیق، مشتق هموار و پیوسته. معایب: محاسبات کمی سنگین تر از ReLU (به دلیل نیاز به سیگموئید) که با بهینه سازی های سخت افزاری قابل جبران است.
