خودهمبسته رفع نویز (Denoising Autoencoder)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
خودهمبسته رفع نویز (Denoising Autoencoder) :
خودهمبسته رفع نویز (Denoising Autoencoder) نوعی خودهمبسته است که برای یادگیری بازنمایی مقاوم در برابر نویز طراحی شده. ایده اصلی این است: ورودی را با نویز تخریب می کنیم و شبکه را آموزش می دهیم تا ورودی تمیز (بدون نویز) را بازسازی کند. این کار باعث می شود شبکه ویژگی های معنادار و پایدار داده را یاد بگیرد.
مراحل کار: ابتدا یک نمونه نویز مانند نویز گاوسی به داده اصلی اضافه می کنیم:
\[ \tilde{x} = x + \epsilon \]با
\[ \epsilon \sim \mathcal{N}(0, \sigma^2) \]. سپس
\[ \tilde{x} \]را به رمزگذار می دهیم تا نمایش فشرده
\[ h \]تولید شود:
\[ h = f(W_e \tilde{x} + b_e) \]. رمزگشا سعی می کند
\[ x \]اصلی را بازسازی کند:
\[ \hat{x} = g(W_d h + b_d) \].
تابع هزینه معمولا میانگین مربعات خطا بین خروجی و داده تمیز است:
\[ \mathcal{L} = \|x - \hat{x}\|^2 \]. با این کار، شبکه یاد می گیرد که نویز را نادیده گرفته و ساختار اصلی داده را بازسازی کند.
این روش توسط وینسنت و همکاران در سال ۲۰۰۸ معرفی شد. نشان داده شد که خودهمبسته رفع نویز می تواند بازنمایی های بهتری نسبت به خودهمبسته ساده یاد بگیرد، زیرا مجبور است ساختار داده را عمیق تر درک کند.
کاربردها: پاک سازی تصاویر (image denoising)، پیش پردازش داده ها برای یادگیری عمیق، استخراج ویژگی های مقاوم. این خودهمبسته ها به عنوان بلوک سازنده در شبکه های باور عمیق (DBN) نیز استفاده شده اند.
از نظر تئوری، یادگیری با ورودی نویزدار مشابه یادگیری میدان تصادفی شرطی (conditional random field) است و باعث می شود نمایش فشرده نسبت به تغییرات جزئی پایدار باشد.
میزان نویز پارامتر مهمی است: نویز کم باعث بهبود اندک، نویز زیاد ممکن است یادگیری را مختل کند. معمولا از نویز گاوسی با انحراف معیار ۰.۱ تا ۰.۳ (بسته به دامنه داده) استفاده می شود.
یکی دیگر از روش های تخریب، خاموش کردن تصادفی برخی نورون های ورودی (مشابه dropout) است. این کار نیز نوعی نویز ایجاد می کند.
خودهمبسته رفع نویز در کنار سایر خودهمبسته ها، پایه گذار بسیاری از مدل های زایشی و یادگیری بازنمایی شده است.
مثال عملی: در یک مجموعه داده تصاویر دست نوشته MNIST، با افزودن نویز به تصاویر و آموزش خودهمبسته، شبکه یاد می گیرد تصاویر پاک تولید کند. این قابلیت در سیستم های تشخیص نوری حروف (OCR) مفید است.
نسخه های پیشرفته تر مانند خودهمبسته رفع نویز با dropout در لایه های پنهان نیز وجود دارد که تنک بودن را تشویق می کند.
در مجموع، این معماری ساده اما مؤثر به شبکه یاد می دهد که به جای حفظ کردن داده، ساختار ذاتی آن را کشف کند.
