شبکه حافظه (Memory Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه حافظه (Memory Network) :
شبکه حافظه (Memory Network) توسط وستون و همکاران در سال ۲۰۱۴ معرفی شد. این شبکه یک حافظه خارجی (یک ماتریس) دارد که می تواند اطلاعات را بخواند و بنویسد. هدف آن رفع محدودیت RNNها در نگهداری اطلاعات بلندمدت است. یک شبکه حافظه شامل چهار مؤلفه اصلی است: I (input) برای تبدیل ورودی به بردار ویژگی، G (generalization) برای به روزرسانی حافظه، O (output) برای تولید خروجی از حافظه و وضعیت فعلی، و R (response) برای تبدیل خروجی به پاسخ نهایی.
فرآیند کار: ابتدا ورودی به بردار تبدیل می شود. سپس با توجه به محتوای حافظه، مکان هایی برای نوشتن یا خواندن انتخاب می شوند (معمولا با مکانیزم توجه). خروجی از ترکیب وزن دار حافظه به دست می آید و سپس به پاسخ نهایی تبدیل می شود.
شبکه حافظه در مسائلی مانند پاسخگویی به سوال (Question Answering) و داستان گویی (که نیاز به استدلال روی چندین جمله دارند) موفق بود. مثلا برای پاسخ به سوالی مانند "مریم آب را کجا گذاشت؟" پس از خواندن داستان، شبکه باید اطلاعات مربوطه را از حافظه بازیابی کند.
نسخه های بعدی مانند End-to-End Memory Network با استفاده از توجه پیوسته و قابل آموزش با پس انتشار، نیاز به نظارت بر مکان های حافظه را کاهش دادند. این ایده ها بعدها در Transformerها و معماری های توجه دیده می شود.
محدودیت: حافظه معمولا به اندازه ثابت و نسبتا کوچک محدود است. برای حافظه های بزرگ تر، Differentiable Neural Computer (DNC) توسعه یافت.
