شبکه عصبی با حافظه خارجی (Differentiable Neural Computer - DNC)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی با حافظه خارجی (Differentiable Neural Computer - DNC) :
رایانه عصبی تفکیک پذیر (DNC) توسط گریوز و همکاران در سال ۲۰۱۶ معرفی شد و یک پیشرفت نسبت به Neural Turing Machine (NTM) است. DNC یک شبکه عصبی حافظه دار با قابلیت های پیشرفته تر برای ذخیره و بازیابی اطلاعات ساختاریافته است. مشابه NTM، DNC شامل یک کنترل گر (شبکه عصبی) و یک ماتریس حافظه خارجی است، اما مکانیزم های آدرس دهی و مدیریت حافظه بهبود یافته ای دارد.
ویژگی های کلیدی DNC:
استفاده از یک ماتریس حافظه
\[ M \in \mathbb{R}^{N \times W} \]که
\[ N \]مکان حافظه و
\[ W \]بعد هر مکان است.
چندین سر خواندن و نوشتن که اجازه می دهد همزمان چند مکان مختلف خوانده و نوشته شوند.
مکانیزم "حافظه موقت" (temporal memory) شامل یک ماتریس پیوند (link matrix) که ترتیب نوشته شدن در مکان ها را ثبت می کند و امکان خواندن به ترتیب (sequential access) را فراهم می سازد.
استفاده از "استفاده از حافظه" (usage) که به کنترل گر اجازه می دهد مکان های کم استفاده را برای نوشتن اطلاعات جدید تخصیص دهد (شبیه به مدیریت حافظه در کامپیوتر).
عملیات خواندن و نوشتن به طور کامل تفکیک پذیر (differentiable) هستند، بنابراین کل سیستم با پس انتشار قابل آموزش است. DNC می تواند وظایفی مانند پاسخ به سوالات در مورد یک داستان بلند، استنتاج روابط، و یادگیری الگوریتم های ساده (مانند مرتب سازی) را انجام دهد.
در آزمایشات، DNC بر روی مجموعه داده های bAbI (پاسخ به سوال) عملکرد خوبی داشت و توانست سوالاتی را که نیاز به استدلال چندمرحله ای داشتند، پاسخ دهد. همچنین در یادگیری مسیریابی در گراف ها موفق بود.
کاربردها: سیستم های پرسش و پاسخ، استدلال بر روی دانش، یادگیری الگوریتم ها. DNC نشان داد که ترکیب حافظه خارجی با شبکه های عصبی می تواند به توانایی های استدلالی پیشرفته منجر شود. با ظهور Transformerها، DNC کمتر مورد استفاده قرار گرفت، اما ایده های آن همچنان در زمینه حافظه و توجه تأثیرگذار است.
