شبکه عصبی با فعال سازی ناهموار (Nonsmooth Activation Network)، در ریاضیات (Mathematics)

انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :

شبکه عصبی با فعال سازی ناهموار (Nonsmooth Activation Network) :

این شبکه ها از توابع فعال سازی ناهموار (مانند ReLU، Leaky ReLU، و توابع پله ای) استفاده می کنند. ReLU با وجود ناهمواری در نقطه صفر، به دلیل سادگی و کارایی، محبوب ترین فعال سازی است. ناهمواری می تواند باعث ایجاد نقاط غیرمشتق پذیر شود، اما در عمل، زیرگرادیان ها (subgradients) برای پس انتشار استفاده می شوند. شبکه های با فعال سازی ناهموار معمولا سریع تر آموزش می بینند و در بسیاری از مسائل عملکرد بهتری دارند.