شبکه عصبی حافظه دار (Memory-Augmented Neural Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی حافظه دار (Memory-Augmented Neural Network) :
شبکه عصبی حافظه دار (MANN) به خانواده ای از شبکه ها گفته می شود که دارای یک حافظه خارجی قابل خواندن و نوشتن هستند و توسط یک کنترل گر (معمولا یک شبکه عصبی) مدیریت می شوند. معروف ترین نمونه ها Neural Turing Machine (NTM) و Differentiable Neural Computer (DNC) هستند. هدف: افزایش ظرفیت حافظه فراتر از حالت پنهان RNNها و امکان ذخیره و بازیابی اطلاعات بلندمدت.
ساختار کلی: یک کنترل گر (شبکه پیش خور یا RNN) که در هر گام زمانی با حافظه (یک ماتریس) تعامل دارد. عملیات خواندن و نوشتن با مکانیزم های آدرس دهی محتوا-محور (content-based) و موقعیت-محور (location-based) انجام می شود. در خواندن، یک بردار توجه روی مکان های حافظه تولید شده و جمع وزن دار محتوای حافظه خوانده می شود. در نوشتن، اطلاعات جدید در مکان های مشخص شده (با توجه به توجه) نوشته می شود.
مزایا: توانایی یادگیری وظایفی که نیاز به حافظه بلندمدت و استدلال دارند (مانند کپی کردن دنباله های بلند، یادگیری الگوریتم های ساده). معایب: پیچیدگی محاسباتی و آموزش دشوار (به دلیل تعاملات حافظه).
کاربردها: مدل سازی الگوریتم ها، پاسخ به سوال، ترجمه ماشینی (قبل از Transformer). ایده های MANN بر روی Transformer و حافظه های کلید-مقدار تأثیرگذار بودند.
