شبکه عصبی معکوس پذیر (Invertible Neural Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی معکوس پذیر (Invertible Neural Network) :
شبکه عصبی معکوس پذیر (INN) نوعی شبکه است که به طور کامل تابعی معکوس پذیر را یاد می گیرد. یعنی اگر شبکه تبدیل
\[ f: x \rightarrow y \]را انجام دهد، یک تابع معکوس
\[ f^{-1} \]نیز وجود دارد که
\[ y \]را به
\[ x \]بازمی گرداند. این ویژگی برای مسائلی مانند مدل سازی زایشی (مثلا جریان های نرمال ساز) و حل مسائل معکوس بسیار مفید است.
معمولا INNها با استفاده از بلوک های معکوس پذیر مانند بلوک های کوپلینگ (affine coupling layers) ساخته می شوند. هر بلوک ورودی را به دو بخش
\[ x_1, x_2 \]تقسیم می کند و خروجی به صورت زیر محاسبه می شود:
\[ \begin{aligned} y_1 &= x_1 \odot \exp(s_2(x_2)) + t_2(x_2) \\ y_2 &= x_2 \odot \exp(s_1(y_1)) + t_1(y_1) \end{aligned} \quad\text{و معکوس:}\quad \begin{aligned} x_2 &= (y_2 - t_1(y_1)) \odot \exp(-s_1(y_1)) \\ x_1 &= (y_1 - t_2(x_2)) \odot \exp(-s_2(x_2)) \end{aligned} \]که
\[ s_i, t_i \]توابع دلخواه (معمولا شبکه های کوچک) هستند و
\[ \odot \]ضرب نقطه ای است. این ساختار تضمین می کند که دترمینان ژاکوبی ساده محاسبه می شود (برای تغییر متغیر در احتمال).
کاربردها: جریان های نرمال ساز (normalizing flows) برای مدل سازی توزیع های پیچیده، یادگیری بازنمایی معکوس پذیر، فشرده سازی با اتلاف کم، و حل مسائل معکوس در فیزیک (مثلا تعیین منبع از روی مشاهدات).
معروف ترین مدل های مبتنی بر INN عبارتند از NICE، RealNVP، Glow (برای تولید تصویر با کیفیت بالا). این مدل ها می توانند چگالی احتمال داده را به طور دقیق تخمین بزنند و نمونه های جدید تولید کنند.
مزایا: معکوس پذیری دقیق (نه تقریبی)، محاسبه دقیق log-likelihood، عدم وجود اتلاف اطلاعات (برخلاف autoencoderها). معایب: محدودیت در معماری (باید معکوس پذیر باشد)، حجم محاسباتی نسبتا بالا.
در سال های اخیر، INNها در مسائلی مانند یادگیری نمایش های قابل تفسیر و ترکیب با فیزیک (PINNهای معکوس پذیر) نیز استفاده شده اند.
