شبکه عصبی تورینگ (Neural Turing Machine - NTM)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی تورینگ (Neural Turing Machine - NTM) :
ماشین تورینگ عصبی (NTM) توسط گریوز و همکاران در سال ۲۰۱۴ معرفی شد. NTM یک شبکه عصبی حافظه دار با قابلیت یادگیری الگوریتم های ساده (مانند کپی، مرتب سازی، یادآوری انجمنی) است. NTM از یک کنترل گر (معمولا یک RNN یا LSTM) و یک ماتریس حافظه (حافظه خارجی) تشکیل شده است. کنترل گر می تواند با استفاده از سرهای خواندن و نوشتن با حافظه تعامل کند.
مکانیزم آدرس دهی در NTM ترکیبی از آدرس دهی محتوا-محور (بر اساس شباهت با یک بردار کلید) و آدرس دهی موقعیت-محور (بر اساس جابجایی چرخشی) است. این کار اجازه می دهد هم بر اساس محتوا و هم بر اساس مکان به حافظه دسترسی پیدا کند. عملیات:
خواندن: با تولید بردار توجه
\[ w_t \]روی مکان های حافظه، بردار خوانده شده
\[ r_t = \sum_i w_t(i) M_t(i) \]که
\[ M_t \]ماتریس حافظه است.
نوشتن: ابتدا یک بردار پاک کردن (erase) و سپس یک بردار اضافه کردن (add) با توجه به
\[ w_t \]روی حافظه اعمال می شود:
\[ M_t(i) = M_{t-1}(i)(1 - w_t(i)e_t) + w_t(i)a_t \].
NTM می تواند وظایفی را که نیاز به حافظه بلندمدت و دستکاری داده ها دارند، مانند کپی کردن دنباله ای بلندتر از آنچه در داده های آموزشی دیده، انجام دهد. این نشان دهنده قابلیت تعمیم الگوریتمی است.
کاربردها: الهام بخش مدل های بعدی مانند DNC (رایانه عصبی تفکیک پذیر) و MANNها. اگرچه NTM در مسائل عملی کمتر استفاده شد، تأثیر نظری زیادی داشت و نشان داد شبکه های عصبی می توانند حافظه و محاسبات را با هم ترکیب کنند.
محدودیت ها: آموزش دشوار (به دلیل تعاملات پیچیده)، کارایی محاسباتی پایین. با ظهور Transformer (که حافظه توجهی دارد)، NTMها کمتر مورد توجه قرار گرفتند.
