شبکه حافظه بلندمدت (Long-Term Memory Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه حافظه بلندمدت (Long-Term Memory Network) :
عبارت "شبکه حافظه بلندمدت" گاهی به عنوان مترادف LSTM به کار می رود، اما در مفهومی عام تر به هر شبکه ای که توانایی نگهداری اطلاعات برای مدت طولانی را دارد گفته می شود. با این حال، در ادبیات یادگیری عمیق، یک مدل خاص به نام "Long-Term Memory Network" یا به اختصار LTM Network توسط محققان معرفی شده است که مکانیزم های پیشرفته تری برای حافظه بلندمدت دارد.
این شبکه ها معمولا دارای یک حافظه جداگانه با قابلیت ذخیره و بازیابی اطلاعات در مقیاس های زمانی بسیار طولانی (حتی کل مجموعه داده) هستند. برخلاف LSTM که حافظه درون سلولی دارد و با گذر زمان بازنویسی می شود، این مدل ها از یک ماتریس حافظه خارجی استفاده می کنند که با مکانیزم های توجه قابل خواندن و نوشتن است.
یکی از نمونه های معروف، "Long Short-Term Memory" خود یک شبکه حافظه بلندمدت محسوب می شود. اما مدل های جدیدتر مانند "Memory-Augmented Neural Networks" (MANN) و "Neural Turing Machines" (NTM) نیز در این دسته قرار می گیرند. این مدل ها می توانند وظایفی مانند کپی کردن دنباله های بلند، یادگیری یک باره (one-shot learning)، و استدلال نمادین را انجام دهند.
مکانیزم کلیدی در این شبکه ها، تعامل بین کنترل گر (شبکه عصبی معمولی) و حافظه خارجی از طریق عملیات خواندن و نوشتن با آدرس دهی محتوا-محور (content-based addressing) و موقعیت-محور (location-based addressing) است.
کاربردها: یادگیری با نمونه کم، مدل سازی الگوریتم ها، بازیابی اطلاعات. این حوزه هنوز فعال است و با توسعه Transformerها (که خود نوعی حافظه توجهی هستند) تلفیق شده است.
