شبکه پرسپترون چندلایه با فعال سازی سیگموئید (Sigmoid MLP)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه پرسپترون چندلایه با فعال سازی سیگموئید (Sigmoid MLP) :
این همان پرسپترون چندلایه (MLP) است که از تابع فعال سازی سیگموئید در نرون های لایه های پنهان (و گاهی خروجی) استفاده می کند. تابع سیگموئید به صورت
\[ \sigma(x) = \frac{1}{1+e^{-x}} \]است و خروجی آن بین ۰ و ۱ قرار دارد. این تابع در دهه ۱۹۸۰ و ۱۹۹۰ محبوبیت زیادی داشت، به ویژه برای مسائل طبقه بندی دودویی (که در لایه خروجی از سیگموئید استفاده می شد).
فرمول خروجی یک لایه با سیگموئید:
\[ h = \sigma(Wx + b) \]. سیگموئید غیرخطی بودن را معرفی می کند و به شبکه امکان می دهد روابط پیچیده را مدل کند. اما دو مشکل اصلی دارد: ۱) اشباع (saturation): برای مقادیر خیلی مثبت یا منفی، مشتق سیگموئید نزدیک صفر است که باعث محو شدن گرادیان (vanishing gradient) در شبکه های عمیق می شود. ۲) خروجی آن میانگین محور (zero-centered) نیست (همیشه مثبت) که می تواند باعث نوسان در به روزرسانی وزن ها شود.
مزایا: خروجی محدود بین ۰ و ۱، تفسیرپذیری به عنوان احتمال، مشتق پذیر بودن. کاربردها: امروزه بیشتر در لایه خروجی برای طبقه بندی دودویی استفاده می شود، اما در لایه های پنهان جای خود را به ReLU و مشتقات آن داده است.
MLP با سیگموئید در مسائل ساده و کم عمق هنوز قابل استفاده است. در هنگام آموزش، باید مراقب اشباع شدن بود و از نرمال سازی داده و مقداردهی مناسب استفاده کرد.
