شبکه مولد متخاصم وِرْس (Wasserstein GAN - WGAN)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه مولد متخاصم وِرْس (Wasserstein GAN - WGAN) :
WGAN توسط آرجوفسکی و همکاران در سال ۲۰۱۷ معرفی شد و یک پیشرفت نظری مهم در پایداری آموزش GANها بود. مشکل اصلی GANهای استاندارد، ناپایداری آموزش و محو شدن گرادیان (وقتی تمایزگر خیلی قوی می شود) است. WGAN این مشکل را با استفاده از فاصله ورس اشتاین (Wasserstein distance) به جای تابع هزینه سنتی (JS divergence) حل می کند.
در WGAN، تابع هزینه به صورت زیر تعریف می شود:
\[ \min_G \max_{D \in \text{1-Lipschitz}} \mathbb{E}_{x \sim p_{\text{data}}} [D(x)] - \mathbb{E}_{z \sim p_z} [D(G(z))] \]که در آن
\[ D \]باید یک تابع ۱-لیپشیتس باشد (یعنی شیب آن حداکثر ۱). برای تضمین این شرط، در WGAN اصلی، وزن های
\[ D \]بعد از هر به روزرسانی به بازه کوچکی (مثلا [-0.01, 0.01]) بریده می شوند (weight clipping). اما این روش می تواند باعث ایجاد مشکلاتی شود. نسخه بهبودیافته WGAN-GP (با gradient penalty) از یک جریمه روی نُرم گرادیان برای اعمال شرط لیپشیتس استفاده می کند.
مزایای WGAN: پایداری بیشتر آموزش، کاهش حساسیت به معماری و فراپارامترها، معنی دار بودن مقدار تابع هزینه (همبستگی با کیفیت تصاویر)، کاهش mode collapse. در WGAN، تمایزگر (که منتقد نامیده می شود) یک خروجی اسکالر (بدون سیگموئید) دارد و هدف آن بیشینه کردن فاصله بین امید ریاضی خروجی برای داده واقعی و داده تولیدی است.
کاربردها: تقریبا هر GAN پیشرفته ای از ایده WGAN استفاده می کند. WGAN-GP در بسیاری از کارها (مانند تولید تصویر) به کار رفته است.
فرمول جریمه گرادیان (GP):
\[ \lambda \mathbb{E}_{\hat{x} \sim p_{\hat{x}}} [ (\| \nabla_{\hat{x}} D(\hat{x}) \|_2 - 1)^2 ] \]که
\[ \hat{x} \]نقاط نمونه برداری شده بین داده واقعی و تولیدی هستند.
