شبکه عصبی بازگشتی مرتبه دوم (Second-Order Recurrent Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی بازگشتی مرتبه دوم (Second-Order Recurrent Network) :
در RNN مرتبه دوم، علاوه بر ترکیبات خطی، از جملات ضربی (محصول) بین اجزای حالت پنهان و ورودی نیز استفاده می شود. فرمول عمومی:
\[ h_t = \phi( \sum_i \sum_j W_{ij} (h_{t-1})_i (x_t)_j + b ) \]یا به صورت تانسوری. این اتصالات مرتبه دوم قدرت بیان بیشتری دارند و می توانند وابستگی های غیرخطی پیچیده تری را مدل کنند. با این حال، تعداد پارامترها به شدت افزایش می یابد.
RNNهای مرتبه دوم در برخی مسائل (مانند یادگیری دستور زبان های ساده) نسبت به مرتبه اول موفق تر بوده اند، اما به دلیل پیچیدگی محاسباتی و خطر overfitting، کمتر مورد استفاده قرار می گیرند.
نویسنده علیرضا گلمکانی
شماره کلید 14404
گزینه ها 
نظرات 0 0 0