شبکه مولد متخاصم سبک (StyleGAN)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه مولد متخاصم سبک (StyleGAN) :
StyleGAN توسط تیم تحقیقاتی NVIDIA (کراس و همکاران) در سال ۲۰۱۸ معرفی شد و یک پیشرفت بزرگ در کیفیت تولید تصویر با GANها بود. ایده اصلی: جدا کردن فضای پنهان (latent space) از لایه های مولد با استفاده از یک نگاشت غیرخطی و تزریق سبک (style) در سطوح مختلف. برخلاف GANهای قبلی که مستقیما نویز را به لایه اول می دادند، StyleGAN از یک شبکه نگاشت (mapping network) استفاده می کند که نویز
\[ z \]را به یک فضای میانی
\[ w \]تبدیل می کند. سپس
\[ w \]از طریق ماژول های Adaptive Instance Normalization (AdaIN) به لایه های مختلف مولد تزریق می شود تا سبک های مختلف در مقیاس های گوناگون کنترل شوند.
فرمول AdaIN: برای یک ویژگی
\[ x \]و بردار سبک
\[ y \]، خروجی به صورت زیر است:
\[ \text{AdaIN}(x, y) = \sigma(y) \left( \frac{x - \mu(x)}{\sigma(x)} \right) + \mu(y) \]که
\[ \mu \]و
\[ \sigma \]میانگین و انحراف معیار در بعد مکان هستند. بدین ترتیب میانگین و واریانس ویژگی ها با توجه به سبک تنظیم می شوند.
ویژگی دیگر StyleGAN، افزودن نویز تصادفی به هر لایه برای تولید جزئیات تصادفی (مثل فر یا منافذ پوست) و استفاده از مختصات موقعیت (positional encoding) برای جلوگیری از تکرار الگوهاست. همچنین از progressive growing (رشد تدریجی وضوح) برای آموزش پایدار استفاده شده است.
StyleGAN قادر به تولید تصاویر چهره با کیفیت بسیار بالا (۱۰۲۴×۱۰۲۴) و واقع گرایانه بود. نسخه دوم (StyleGAN2) با بهبودهایی مانند از بین بردن مصنوعات (water droplets) و تنظیم مجدد معماری، کیفیت را بالاتر برد. StyleGAN3 (alias-free) نیز برای حفظ پیوستگی در جابجایی و چرخش ارائه شد.
کاربردها: تولید چهره های مصنوعی (مثل سایت ThisPersonDoesNotExist)، ویرایش چهره (با دستکاری بردار سبک)، تولید داده های مصنوعی برای آموزش مدل ها، هنر دیجیتال. StyleGAN به ابزاری محبوب در جامعه هوش مصنوعی تبدیل شده است.
کنترل سبک در سطوح مختلف (سطوح پایین برای جزئیات ریز، سطوح بالا برای ویژگی های کلی) امکان ویرایش معنادار تصاویر را فراهم می کند. مثلا با تغییر سبک در لایه های میانی می توان حالت چهره را عوض کرد بدون اینکه هویت تغییر کند.
