شبکه پرسپترون چندلایه با فعال سازی تانژانت هیپربولیک (Tanh MLP)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه پرسپترون چندلایه با فعال سازی تانژانت هیپربولیک (Tanh MLP) :
در این نوع MLP، از تابع فعال سازی تانژانت هیپربولیک (
\[ \tanh \]) استفاده می شود:
\[ \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} \]که خروجی آن بین -۱ و ۱ است.
\[ \tanh \]مزیت مهمی نسبت به سیگموئید دارد: خروجی آن صفر-مرکز (zero-centered) است که می تواند به بهبود همگرایی در آموزش کمک کند. اما همچنان مشکل اشباع شدن (مشتق نزدیک صفر برای مقادیر بزرگ) را دارد.
فرمول یک لایه با
\[ \tanh \]:
\[ h = \tanh(Wx + b) \]. در دهه ۱۹۹۰ و اوایل ۲۰۰۰،
\[ \tanh \]به دلیل خروجی متقارن، اغلب بر سیگموئید ترجیح داده می شد. بسیاری از شبکه های اولیه مانند شبکه های بازگشتی ساده از
\[ \tanh \]به عنوان فعال سازی پیش فرض استفاده می کردند.
با ظهور ReLU، استفاده از
\[ \tanh \]در لایه های پنهان کاهش یافت، اما هنوز در برخی موارد مانند شبکه های بازگشتی (LSTM/GRU از
\[ \tanh \]برای نامزد حافظه استفاده می کنند) و در خودرمزگذارهای تغییرپذیر (برای خروجی نرمالایز شده) کاربرد دارد. همچنین در مسائلی که نیاز به خروجی محدود در بازه متقارن داریم (مثلا مقادیر نرمالایز شده)،
\[ \tanh \]مناسب است.
مزایا: صفر-مرکز بودن، دامنه محدود. معایب: اشباع شدن. در عمل، برای شبکه های عمیق، ReLU و انواع آن (مانند Leaky ReLU) معمولا نتایج بهتری می دهند.
