شبکه عصبی نرمال سازی کننده جریان (Normalizing Flow Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی نرمال سازی کننده جریان (Normalizing Flow Network) :
جریان نرمال ساز (Normalizing Flow) یک روش برای مدل سازی توزیع های احتمال پیچیده با استفاده از دنباله ای از تبدیلات معکوس پذیر و مشتق پذیر است. ایده اصلی: با شروع از یک توزیع پایه ساده (مثلا نرمال استاندارد) و اعمال یک سری تبدیلات
\[ f_1, f_2, ..., f_k \](که هر کدام معکوس پذیرند)، توزیع هدف را می سازیم. چگالی احتمال نقاط از طریق تغییر متغیر محاسبه می شود:
\[ p_K(x_K) = p_0(x_0) \prod_{i=1}^{K} \left| \det \frac{\partial f_i^{-1}}{\partial x_i} \right| = p_0(x_0) \prod_{i=1}^{K} \left| \det \frac{\partial f_i}{\partial x_{i-1}} \right|^{-1} \]هر تبدیل
\[ f_i \]باید به گونه ای طراحی شود که دترمینان ژاکوبی آن به راحتی محاسبه شود (معمولا با ساختارهای مثلثی یا ماتریس های قطری). از جمله این تبدیلات می توان به affine coupling layers (مثل RealNVP)، autoregressive transforms (مثل IAF و MAF) و تبدیلات مبتنی بر ۱×۱ convolution با ماتریس های چرخشی اشاره کرد.
معماری های معروف: RealNVP، Glow، Masked Autoregressive Flow (MAF)، Inverse Autoregressive Flow (IAF). Glow با اضافه کردن لایه های 1x1 معکوس پذیر، کیفیت تصاویر تولیدی را بهبود بخشید.
کاربردها: تولید تصویر و صدا، تخمین چگالی، افزایش داده (data augmentation)، یادگیری بازنمایی. مزایا: تخمین دقیق likelihood، نمونه گیری سریع (در برخی معماری ها)، امکان درون یابی معنادار در فضای پنهان. معایب: محدودیت در معماری (باید معکوس پذیر باشد)، نیاز به حجم محاسبات بالا برای ابعاد بالا.
جریان های نرمال ساز یکی از سه رویکرد اصلی مدل سازی زایشی (در کنار GAN و VAE) هستند و در تحقیقات اخیر توجه زیادی به آن ها شده است.
