خودهمبسته تغییرپذیر (Variational Autoencoder - VAE)، در ریاضیات (Mathematics)

انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :

خودهمبسته تغییرپذیر (Variational Autoencoder - VAE) :

خودهمبسته تغییرپذیر (VAE) یک مدل زایشی قدرتمند است که در سال ۲۰۱۳ توسط کینگما و ولینگ معرفی شد. VAE نه تنها داده را فشرده می کند، بلکه می تواند داده های جدید مشابه داده های آموزشی تولید کند. برخلاف خودهمبسته های کلاسیک که فضای پنهان قطعی دارند، VAE فضای پنهان احتمالی یاد می گیرد.

در VAE، رمزگذار به جای یک بردار، پارامترهای یک توزیع احتمالی (معمولا گاوسی) را تولید می کند: میانگین

\[ \mu \]

و انحراف معیار

\[ \sigma \]

. سپس یک نمونه

\[ z \]

از این توزیع گرفته می شود:

\[ z \sim \mathcal{N}(\mu, \sigma^2) \]

. رمزگشا سعی می کند از روی

\[ z \]

داده اصلی را بازسازی کند.

تابع هزینه VAE از دو بخش تشکیل شده: ۱) خطای بازسازی (مثلا آنتروپی متقاطع) که نمونه تولید شده را به داده اصلی نزدیک می کند. ۲) واگرایی KL بین توزیع یادگرفته شده و توزیع پیشین (معمولا

\[ \mathcal{N}(0,1) \]

):

\[ \mathcal{L}_{\text{VAE}} = \mathbb{E}_{z \sim q(z|x)} [-\log p(x|z)] + \text{KL}(q(z|x) \| p(z)) \]

قسمت اول بازسازی را تضمین می کند و قسمت دوم باعث می شود فضای پنهان به هم ریخته و پیوسته باشد و نمونه گیری تصادفی معنا پیدا کند.

VAE با استفاده از ترفند بازپارامتری سازی (reparameterization trick) آموزش داده می شود:

\[ z = \mu + \sigma \cdot \epsilon \]

با

\[ \epsilon \sim \mathcal{N}(0,1) \]

. این کار امکان انتشار گرادیان از طریق لایه تصادفی را فراهم می کند.

کاربردها: تولید تصاویر (چهره های مصنوعی، ارقام دست نویس)، تولید متن، کشف ساختار داده ها، درون یابی معنایی در فضای پنهان. مثلا می توان دو تصویر را در فضای پنهان میانگین گرفت و تصاویر میانی تولید کرد.

VAE نسبت به GANها پایدارتر است اما گاهی تصاویر تولیدی آن کمی تار هستند. نسخه های بهبودیافته مانند VQ-VAE و

\[ \beta \]

-VAE (با وزن بیشتر روی KL) برای کنترل کیفیت و disentanglement ارائه شده اند.

یکی از مزایای VAE، پیوستگی فضای پنهان است: نقاط نزدیک در فضای پنهان، خروجی های مشابهی تولید می کنند. این ویژگی برای تولید داده های جدید با تغییرات تدریجی مفید است.

VAE پایه بسیاری از مدل های پیشرفته زایشی مانند مدل های انتشار (diffusion) است. همچنین در یادگیری بازنمایی بدون ناظر و کاهش ابعاد احتمالی کاربرد دارد.

محدودیت: گاهی مدل تمایل دارد همه نمونه ها را به میانگین داده نزدیک کند (posterior collapse) که با روش هایی مانند annealing و KL weight adjustment قابل کنترل است.

در مجموع، VAE یک ابزار قدرتمند هم برای تولید داده و هم برای یادگیری بازنمایی های معنادار است.