شبکه عصبی بازگشتی مرتبه اول (First-Order Recurrent Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی بازگشتی مرتبه اول (First-Order Recurrent Network) :
شبکه عصبی بازگشتی مرتبه اول (First-Order RNN) ساده ترین نوع RNN است که در آن حالت پنهان در هر گام به صورت تابع خطی از ورودی و حالت پنهان قبلی (با یک غیرخطی گری) محاسبه می شود. فرمول:
\[ h_t = \phi(W_{xh} x_t + W_{hh} h_{t-1} + b_h) \]. این مدل "مرتبه اول" نامیده می شود زیرا فقط از ضرب ماتریس (ترکیبات خطی) استفاده می کند و شامل جملات مرتبه بالاتر (مثل ضرب تانسوری) نیست. Elman RNN و Jordan RNN نمونه هایی از این نوع هستند.
این شبکه ها می توانند وابستگی های زمانی را مدل کنند اما به دلیل مشکل محو شدن گرادیان، برای توالی های بلند مناسب نیستند. با این حال، سادگی و سرعت آن ها برای مسائل با وابستگی کوتاه مفید است.
نویسنده علیرضا گلمکانی
شماره کلید 14403
گزینه ها 
نظرات 0 0 0