شبکه عصبی با حافظه انبوه (Stacked Augmented Memory Network)، در ریاضیات (Mathematics)

انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :

شبکه عصبی با حافظه انبوه (Stacked Augmented Memory Network) :

شبکه عصبی با حافظه انبوه (Stacked Augmented Memory Network) به معماری هایی اطلاق می شود که چندین لایه حافظه (مانند چندین ماتریس حافظه) یا چندین سطح دسترسی به حافظه دارند. این می تواند شامل مدل هایی باشد که از چندین واحد حافظه برای ذخیره اطلاعات در سطوح مختلف انتزاع استفاده می کنند. برای مثال، در معماری های پرسش و پاسخ، ممکن است چندین لایه حافظه برای نگهداری اطلاعات حقایق مختلف وجود داشته باشد.

این ایده در مدل های پیشرفته حافظه دار مانند "Dynamic Memory Networks" (DMN) دیده می شود که از یک حافظه اپیزودیک (episodic memory) و یک حافظه معنایی (semantic memory) تشکیل شده اند. همچنین در "Memory Networks" چندلایه، حافظه می تواند چندین "پرش" (hop) انجام دهد تا به پاسخ برسد (شبیه به توجه چندمرحله ای).

کاربردها: پاسخ به سوال، استدلال چندمرحله ای، دیالوگ. این رویکردها تا حدی توسط مکانیزم های توجه در Transformerها جذب شده اند.