شبکه عصبی بازگشتی (Recurrent Neural Network - RNN)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی بازگشتی (Recurrent Neural Network - RNN) :
شبکه عصبی بازگشتی (RNN) برای پردازش داده های ترتیبی یا سری های زمانی طراحی شده است. تفاوت اصلی آن با شبکه پیش خور در وجود اتصالات بازگشتی (حلقه ها) است که به شبکه اجازه می دهد اطلاعاتی از مراحل قبلی را در حافظه نگه دارد.
در هر گام زمانی
\[ t \]، RNN ورودی فعلی
\[ x_t \]و حالت پنهان قبلی
\[ h_{t-1} \]را دریافت می کند و حالت پنهان جدید
\[ h_t \]را تولید می کند:
\[ h_t = \phi(W_{xh} x_t + W_{hh} h_{t-1} + b_h) \]سپس خروجی
\[ y_t \]از روی
\[ h_t \]محاسبه می شود:
\[ y_t = \phi(W_{hy} h_t + b_y) \]RNNها برای کار با دنباله هایی با طول متغیر مناسب هستند. کاربردها شامل ترجمه ماشینی، تشخیص گفتار، تولید موسیقی، پیش بینی قیمت سهام و تحلیل احساسات متون است.
آموزش RNN با استفاده از الگوریتم پس انتشار در طول زمان (Backpropagation Through Time - BPTT) انجام می شود که در آن شبکه برای هر گام زمانی باز شده و گرادیان ها جمع می شوند.
مشکل اصلی RNNهای ساده، محو شدن یا انفجار گرادیان در دنباله های بلند است. به همین دلیل RNNهای ساده نمی توانند وابستگی های طولانی مدت را به خوبی یاد بگیرند.
برای رفع این مشکل، معماری های پیشرفته تری مانند LSTM و GRU طراحی شدند که با استفاده از گیت ها (دروازه ها) جریان اطلاعات را کنترل می کنند.
RNNها می توانند به صورت یک طرفه (از گذشته به آینده) یا دوطرفه (با در نظر گرفتن هر دو جهت) باشند. RNN دوطرفه برای کارهایی مانند برچسب گذاری توالی مفید است.
یکی دیگر از انواع RNN، شبکه های بازگشتی با حافظه بلندمدت (LSTM) است که در مورد بعدی توضیح داده می شود.
RNNها در کنار CNNها، پایه گذار بسیاری از سیستم های پیشرفته هوش مصنوعی مانند مدل های زبانی بزرگ هستند.
