شبکه عصبی بازگشتی عمیق (Deep Recurrent Neural Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی بازگشتی عمیق (Deep Recurrent Neural Network) :
شبکه عصبی بازگشتی عمیق (Deep RNN) به RNNهایی گفته می شود که در آن ها بیش از یک لایه بازگشتی روی هم قرار گرفته اند. به عبارت دیگر، حالت پنهان در هر گام زمانی از چندین لایه RNN متوالی عبور می کند. این کار عمق شبکه را افزایش می دهد و به مدل اجازه می دهد تا بازنمایی های سلسله مراتبی و پیچیده تری از توالی یاد بگیرد.
ساختار یک Deep RNN با
\[ L \]لایه به این صورت است: برای لایه
\[ l \]در گام
\[ t \]، ورودی آن خروجی لایه
\[ l-1 \]در همان گام (
\[ h_t^{(l-1)} \]) و حالت پنهان قبلی آن لایه (
\[ h_{t-1}^{(l)} \]) است. لایه اول ورودی اصلی
\[ x_t \]را دریافت می کند. خروجی نهایی می تواند
\[ h_t^{(L)} \](برای تمام گام ها) یا حالت لایه آخر باشد.
فرمول کلی (برای یک لایه RNN ساده):
\[ h_t^{(l)} = \tanh(W^{(l)} [h_t^{(l-1)}; h_{t-1}^{(l)}] + b^{(l)}) \].
Deep RNNها (به ویژه Deep LSTM) در کارهایی مانند تشخیص گفتار، ترجمه ماشینی و مدل سازی زبان عملکرد بهتری نسبت به نسخه های کم عمق دارند، زیرا می توانند وابستگی های زمانی را در سطوح مختلف انتزاع یاد بگیرند. با این حال، افزایش عمق باعث افزایش تعداد پارامترها و خطر overfitting می شود. همچنین آموزش آن ها به دلیل محو شدن گرادیان در عمق می تواند دشوار باشد (استفاده از LSTM و skip connections کمک می کند).
