شبکه عصبی با معادلات دیفرانسیل معمولی (Neural ODE)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی با معادلات دیفرانسیل معمولی (Neural ODE) :
Neural ODE توسط چن و همکاران در سال ۲۰۱۸ معرفی شد و یک تغییر پارادایم در طراحی شبکه های عمیق ایجاد کرد. ایده اصلی: به جای داشتن تعداد گسسته ای از لایه ها، تکامل حالات پنهان را با یک معادله دیفرانسیل معمولی (ODE) مدل کنیم. در یک شبکه باقیمانده (ResNet)، خروجی هر لایه به صورت
\[ h_{t+1} = h_t + f(h_t, \theta_t) \]است. اگر تعداد لایه ها به بی نهایت برود و گام های زمانی پیوسته شوند، به معادله دیفرانسیل
\[ \frac{dh(t)}{dt} = f(h(t), t, \theta) \]می رسیم. بنابراین خروجی نهایی با حل این ODE از
\[ t_0 \]تا
\[ t_1 \]به دست می آید:
\[ h(t_1) = h(t_0) + \int_{t_0}^{t_1} f(h(t), t, \theta) dt \].
در Neural ODE،
\[ f \]یک شبکه عصبی با پارامترهای
\[ \theta \]است که مشتق حالت پنهان را تعیین می کند. برای حل انتگرال از حلگرهای ODE عددی (مانند Runge-Kutta) استفاده می شود. نکته کلیدی: برای پس انتشار خطا، نیازی به ذخیره مسیر کامل میانی نداریم، بلکه می توان از روش adjoint حساسیت (که خود یک ODE معکوس است) استفاده کرد که حافظه را
\[ O(1) \]نگه می دارد (مستقل از عمق).
مزایا: حافظه کارآمد، قابلیت مدل سازی فرآیندهای پیوسته در زمان، تطبیق پذیری دقت با تغییر حلگر ODE (کنترل trade-off دقت-سرعت). کاربردها: مدل سازی سری های زمانی نامنظم (irregularly-sampled time series)، سیستم های دینامیکی، کاهش ابعاد، مدل های مولد (continuous normalizing flows).
معایب: زمان آزمون می تواند زیاد باشد (حل عددی ODE)، حساسیت به خطای حلگر. Neural ODE تأثیر زیادی در جامعه یادگیری عمیق داشت و زمینه ساز کارهای بعدی مانند Neural SDE و Neural CDE شد.
