شبکه عصبی با حافظه کوتاه مدت (Short-Term Memory Network)، در ریاضیات (Mathematics)

انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :

شبکه عصبی با حافظه کوتاه مدت (Short-Term Memory Network) :

شبکه عصبی با حافظه کوتاه مدت (Short-Term Memory Network) معمولا به RNNهای ساده (بدون مکانیزم های خاص مانند LSTM) اطلاق می شود که قادر به نگهداری اطلاعات برای چند گام محدود هستند. در این شبکه ها، وابستگی های بلندمدت به دلیل محو شدن گرادیان به خوبی یاد گرفته نمی شوند. با این حال، برای مسائلی که وابستگی ها کوتاه هستند (مثلا پیش بینی چند گام بعد در یک سری زمانی با حافظه کوتاه) ممکن است کافی باشند.

مثال: یک Elman RNN ساده با یک لایه پنهان و فعال سازی tanh می تواند وابستگی های حدود ۵-۱۰ گام را یاد بگیرد. این شبکه ها سریع تر از LSTM آموزش می بینند و پارامترهای کمتری دارند، اما برای مسائل با وابستگی های طولانی مناسب نیستند.