خودهمبسته تنک (Sparse Autoencoder)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
خودهمبسته تنک (Sparse Autoencoder) :
خودهمبسته تنک (Sparse Autoencoder) یک خودهمبسته است که با اعمال محدودیت تنکی روی لایه پنهان، باعث می شود تنها تعداد کمی از نرون ها فعال شوند. این کار شبکه را وادار می کند ویژگی های معنادار و تفکیک پذیر یاد بگیرد.
ایده اصلی: اگر تعداد نرون های پنهان زیاد باشد، ممکن است شبکه صرفا ورودی را کپی کند. اما با تنک کردن، هر نرون پنهان باید به یک ویژگی خاص پاسخ دهد. این کار شبیه به یادگیری ویژگی های پایه است.
روش اعمال تنکی: به تابع هزینه یک جمله جریمه اضافه می شود که نرخ فعال سازی نرون های پنهان را کنترل می کند. اگر
\[ \hat{\rho}_j \]میانگین فعال سازی نرون
\[ j \]باشد و
\[ \rho \]مقدار هدف (مثلا ۰.۰۵)، جریمه معمولا واگرایی کولبک-لیبلر (KL divergence) است:
\[ \mathcal{L}_{\text{sparse}} = \mathcal{L}_{\text{MSE}} + \beta \sum_{j=1}^{s} \text{KL}(\rho \| \hat{\rho}_j) \] \[ \text{KL}(\rho \| \hat{\rho}_j) = \rho \log\frac{\rho}{\hat{\rho}_j} + (1-\rho) \log\frac{1-\rho}{1-\hat{\rho}_j} \]که در آن
\[ s \]تعداد نرون های پنهان،
\[ \beta \]وزن جریمه تنکی است.
\[ \hat{\rho}_j \]معمولا بر روی یک دسته (batch) محاسبه می شود.
با این جریمه، نرون ها مجبور می شوند کمتر از حد معین فعال شوند (یعنی خروجی نزدیک به صفر برای اکثر نمونه ها). این باعث می شود هر نرون به یک الگوی خاص در داده تخصص یابد.
خودهمبسته تنک برای اولین بار در زمینه یادگیری ویژگی های پایه برای تصاویر استفاده شد. بعدها در پیش آموزش شبکه های عمیق کاربرد یافت.
کاربردها: استخراج ویژگی های معنادار، کاهش ابعاد غیرخطی، یادگیری دیکشنری (dictionary learning). همچنین در تشخیص ناهنجاری، اگر یک ناهنجاری الگوی فعال سازی متفاوتی ایجاد کند، قابل شناسایی است.
تنظیم پارامتر
\[ \rho \]مهم است: اگر خیلی کوچک باشد، نرون ها بسیار کم فعال می شوند و اطلاعات از دست می رود؛ اگر بزرگ باشد، تنکی از بین می رود. معمولا
\[ \rho \]بین ۰.۰۱ تا ۰.۱ انتخاب می شود.
یکی دیگر از روش های اعمال تنکی، استفاده از تابع فعال سازی با خروجی صفر برای مقادیر منفی (مثل ReLU) به همراه جریمه L1 روی فعال سازی ها است:
\[ \lambda \sum |h| \]. این روش ساده تر است.
خودهمبسته تنک به دلیل توانایی در یادگیری ویژگی های تفسیرپذیر، در تحلیل داده های زیستی (مانند ژن ها) نیز استفاده شده است.
این معماری یکی از پایه های یادگیری عمیق بدون ناظر محسوب می شود و مفاهیم آن در خودهمبسته های بعدی (مانند VAE) نیز دیده می شود.
