واحد بازگشتی دروازه دار (Gated Recurrent Unit - GRU)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
واحد بازگشتی دروازه دار (Gated Recurrent Unit - GRU) :
GRU نوعی RNN دروازه دار است که در سال ۲۰۱۴ توسط کایونگ چو معرفی شد. این شبکه نسخه ساده شده ای از LSTM است، با تعداد گیت های کمتر و عملکرد مشابه.
GRU دو گیت دارد: گیت به روزرسانی (update gate) و گیت تنظیم مجدد (reset gate). همچنین سلول حافظه جداگانه ای مانند LSTM ندارد و حالت پنهان همزمان نقش حافظه را ایفا می کند.
فرمول های GRU:
\[ z_t = \sigma(W_z \cdot [h_{t-1}, x_t]) \] \[ r_t = \sigma(W_r \cdot [h_{t-1}, x_t]) \] \[ \tilde{h}_t = \tanh(W \cdot [r_t * h_{t-1}, x_t]) \] \[ h_t = (1 - z_t) * h_{t-1} + z_t * \tilde{h}_t \]گیت به روزرسانی (
\[ z_t \]) مشخص می کند چه مقدار از حالت قبلی نگه داشته شود و چه مقدار از نامزد جدید استفاده شود. گیت تنظیم مجدد (
\[ r_t \]) تعیین می کند چه مقدار از اطلاعات گذشته نادیده گرفته شود.
GRU نسبت به LSTM پارامترهای کمتری دارد (چون گیت کمتری دارد) و بنابراین سریع تر آموزش می بیند و احتمال overfitting در آن کمتر است.
در بسیاری از کارها، GRU عملکرد مشابه LSTM دارد. انتخاب بین آنها اغلب به داده و مسئله بستگی دارد. GRU در داده های کوچک تر ممکن است بهتر عمل کند.
کاربردها: مشابه LSTM در ترجمه، مدل سازی زبان، تشخیص گفتار. GRU به دلیل سادگی، در بسیاری از معماری های encoder-decoder استفاده می شود.
یکی از معایب GRU این است که ممکن است در یادگیری وابستگی های بسیار طولانی به اندازه LSTM قدرتمند نباشد.
