شبکه حافظه کوتاه مدت ماندگار (Long Short-Term Memory - LSTM)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه حافظه کوتاه مدت ماندگار (Long Short-Term Memory - LSTM) :
LSTM نوع خاصی از RNN است که برای حل مشکل محو شدن گرادیان و یادگیری وابستگی های طولانی مدت طراحی شده است. این شبکه توسط هوخریتر و اشمیدهوبر در ۱۹۹۷ معرفی شد.
LSTM دارای یک ساختار داخلی به نام "سلول حافظه" (cell state) است که اطلاعات در طول زمان در آن جریان می یابد. سه گیت (دروازه) این جریان را کنترل می کنند: گیت ورودی، گیت فراموشی و گیت خروجی.
فرمول های به روزرسانی در LSTM:
\[ f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f) \] \[ i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i) \] \[ \tilde{C}_t = \tanh(W_C \cdot [h_{t-1}, x_t] + b_C) \] \[ C_t = f_t * C_{t-1} + i_t * \tilde{C}_t \] \[ o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o) \] \[ h_t = o_t * \tanh(C_t) \]گیت فراموشی (
\[ f_t \]) مشخص می کند چه مقدار از حافظه قبلی نگه داشته شود. گیت ورودی (
\[ i_t \]) تعیین می کند چه اطلاعات جدیدی ذخیره شود. گیت خروجی (
\[ o_t \]) میزان خروجی سلول را کنترل می کند.
LSTMها در مسائلی مانند ترجمه ماشینی، تشخیص گفتار، تولید متن و هر جایی که دنباله های بلند وجود دارد، عملکرد بسیار خوبی دارند.
معماری LSTM به قدری موفق بود که تا سال ها به عنوان استاندارد طلایی در پردازش توالی ها استفاده می شد. امروزه تا حدی توسط Transformerها جایگزین شده، اما هنوز کاربرد گسترده دارد.
نسخه های مختلف LSTM مانند Peephole LSTM و LSTM با اتصالات خوشه ای نیز وجود دارند.
یکی از نقاط قوت LSTM توانایی یادگیری زمان بندی و تاخیرهای نامشخص بین رویدادها است.
