شبکه عصبی بازگشتی با پنجره زمینه (Contextual RNN)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی بازگشتی با پنجره زمینه (Contextual RNN) :
شبکه عصبی بازگشتی با پنجره زمینه (Contextual RNN) به هر RNN یا LSTM/GRU گفته می شود که علاوه بر ورودی فعلی، یک بردار زمینه (context) نیز دریافت می کند. این بردار زمینه می تواند از یک پنجره از ورودی های قبلی یا آینده، یا از یک منبع خارجی (مثل خروجی یک شبکه دیگر) تأمین شود. هدف غنی سازی ورودی با اطلاعات جانبی است.
فرمول کلی:
\[ h_t = \text{RNN}([x_t; c_t], h_{t-1}) \]که
\[ c_t \]بردار زمینه در گام
\[ t \]است.
\[ c_t \]می تواند میانگین چند بردار قبلی
\[ x_{t-2}, x_{t-1} \]یا ویژگی های استخراج شده از آنها باشد. در برخی کاربردها،
\[ c_t \]از یک پنجره متقارن (قبل و بعد) ساخته می شود که شبیه BiRNN اما با ترکیب متفاوت است.
کاربردها: در تشخیص گفتار، از پنجره ای از فریم های صوتی قبلی برای پیش بینی فونم فعلی استفاده می شود. در مدل سازی زبان، می توان از embedding کل سند به عنوان زمینه ثابت استفاده کرد. در ترجمه ماشینی با توجه،
\[ c_t \]همان بردار زمینه حاصل از توجه به کلمات مبدأ است.
مزایا: انعطاف پذیری در استفاده از اطلاعات جانبی، بهبود عملکرد در کارهای وابسته به زمینه. معایب: افزایش ابعاد ورودی و پیچیدگی.
این مدل ها پایه گذار معماری های پیچیده تری مانند RNN با توجه و Transformerها (که در آن هر گام به همه گام ها توجه می کند) شدند.
