شبکه عصبی با فعال سازی GELU (انگلیسی : GELU Neural Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی با فعال سازی GELU (انگلیسی : GELU Neural Network) :
GELU (Gaussian Error Linear Unit) توسط هندریکس و جیمبوتان در سال ۲۰۱۶ معرفی شد و به ویژه در معماری های Transformer (مانند BERT و GPT) بسیار محبوب است. GELU ترکیبی از ایده های ReLU و dropout است و به صورت
\[ \text{GELU}(x) = x \cdot \Phi(x) \]تعریف می شود که
\[ \Phi(x) \]تابع توزیع تجمعی (CDF) توزیع نرمال استاندارد است. یک تقریب ساده تر:
\[ \text{GELU}(x) \approx 0.5x(1 + \tanh(\sqrt{2/\pi}(x + 0.044715x^3))) \].
فرمول دقیق GELU:
\[ \text{GELU}(x) = x \cdot \frac{1}{2}[1 + \text{erf}(x / \sqrt{2})] \]که
\[ \text{erf} \]تابع خطا است. GELU یک تابع غیرخطی و هموار است که برای مقادیر مثبت تقریبا خطی و برای مقادیر منفی به صفر نزدیک می شود (اما نرم تر از ReLU). این تابع تصادفی بودن را با وزن دهی به ورودی بر اساس مقدار آن شبیه سازی می کند.
در مقایسه با Swish، GELU شباهت زیادی دارد اما با انگیزه متفاوت (GELU از دیدگاه تصادفی و Swish از دیدگاه جستجوی خودکار). هر دو غیریکنوا هستند و برای مقادیر منفی مقادیر کوچک منفی تولید می کنند.
مزایا GELU: عملکرد عالی در مدل های Transformer و NLP، هموار بودن و مشتق پذیری، کمک به جریان گرادیان. در مقاله اصلی نشان داده شد GELU در MNIST، CIFAR و برخی وظایف NLP از ReLU و ELU بهتر عمل می کند.
کاربردها: تمامی مدل های مبتنی بر Transformer از جمله BERT، GPT، ViT (Vision Transformer) و ... از GELU به عنوان فعال سازی پیش فرض استفاده می کنند. این تابع به استاندارد جدیدی در NLP تبدیل شده است.
معایب: پیچیدگی محاسباتی بیشتر از ReLU (اما با تقریب های سریع قابل قبول). در عمل، GELU یکی از گزینه های برتر برای شبکه های عمیق مدرن است.
