شبکه عصبی متعامد (Orthogonal Neural Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی متعامد (Orthogonal Neural Network) :
شبکه عصبی متعامد (Orthogonal Neural Network) به شبکه ای گفته می شود که در آن ماتریس های وزن (یا حداقل برخی از آن ها) متعامد هستند، یعنی
\[ W^T W = I \]. این ویژگی باعث می شود که نُرم بردارهای ورودی در طول لایه ها حفظ شود (حفظ انرژی) و از محو شدن یا انفجار گرادیان جلوگیری کند. این امر به ویژه در شبکه های عمیق و RNNها مفید است.
در RNNها، استفاده از ماتریس وزن بازگشتی متعامد (مانند در الگوریتم uRNN) می تواند مشکل محو شدن گرادیان را کاهش دهد. روش های تحمیل متعامدبودن شامل: مقداردهی اولیه متعامد (مانند استفاده از تجزیه QR)، به روزرسانی وزن ها روی منیفولد متعامد (با استفاده از گرادیان روی منیفولد)، و اضافه کردن جریمه به تابع هزینه (
\[ \|W^T W - I\|^2 \]) است.
کاربردها: RNNها، شبکه های عمیق با بیش از ۱۰۰ لایه، نرمال سازی طیفی (برای GANها). شبکه های متعامد پایدارتر و قابل اعتمادتر هستند.
