شبکه عصبی بازگشتی با کرنل های ویولت (Wavelet Recurrent Neural Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی بازگشتی با کرنل های ویولت (Wavelet Recurrent Neural Network) :
شبکه عصبی بازگشتی با کرنل های ویولت (Wavelet RNN) ترکیبی از شبکه های بازگشتی (RNN) و تبدیل ویولت (wavelet transform) است. ایده اصلی: استفاده از توابع ویولت به عنوان توابع فعال سازی یا به عنوان کرنل هایی در ساختار RNN برای بهبود توانایی مدل سازی سیگنال های غیرایستا (non-stationary) و چندمقیاسه. ویولت ها توابعی هستند که هم محلی سازی در زمان و هم در فرکانس را فراهم می کنند.
در یک Wavelet RNN، ممکن است به جای وزن های معمولی در گیت های RNN (یا در تبدیل خطی ورودی) از ترکیب ویولت ها استفاده شود. یا اینکه حالت پنهان با استفاده از ویولت ها به مؤلفه های فرکانسی مختلف تجزیه شود. یکی از روش ها استفاده از موجک مادر (mother wavelet) مانند موجک مکزیکی کلاه (Mexican hat) یا موجک مورلت (Morlet) به عنوان تابع فعال سازی در لایه های پنهان است.
فرمول یک نورون مبتنی بر ویولت می تواند به صورت
\[ \psi_{a,b}(x) = \psi(\frac{x-b}{a}) \]باشد که
\[ \psi \]موجک مادر،
\[ a \]پارامتر مقیاس و
\[ b \]پارامتر انتقال (شیفت) است. این پارامترها می توانند قابل یادگیری باشند.
مزایا: قابلیت مدل سازی رفتارهای چندمقیاسه و ناایستا (مثل سیگنال های مالی، لرزه ای، بیولوژیکی)، استخراج ویژگی های محلی در زمان و فرکانس. کاربردها: پیش بینی سری های زمانی با نوسانات سریع، تشخیص ناهنجاری در سیگنال ها، پردازش گفتار.
معایب: پیچیدگی محاسباتی بیشتر، نیاز به تنظیم پارامترهای ویولت. این شبکه ها نسبت به RNNهای استاندارد کمتر رایج هستند اما در حوزه های خاص مفید واقع می شوند.
