شبکه باقیمانده (Residual Network - ResNet)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه باقیمانده (Residual Network - ResNet) :
ResNet یک معماری عمیق است که توسط Kaiming He و همکاران در سال ۲۰۱۵ معرفی شد و مشکل محو شدن گرادیان در شبکه های بسیار عمیق را با استفاده از اتصالات باقیمانده (skip connections) حل کرد.
ایده اصلی: به جای اینکه لایه ها مستقیما نگاشت مورد نظر را یاد بگیرند، تفاوت (باقیمانده) را یاد می گیرند. به عبارت دیگر، خروجی یک بلوک به صورت
\[ F(x) + x \]است که
\[ F(x) \]خروجی لایه ها و
\[ x \]ورودی بلوک است.
فرمول یک بلوک باقیمانده:
\[ \mathbf{y} = \mathcal{F}(\mathbf{x}, \{W_i\}) + \mathbf{x} \]که
\[ \mathcal{F} \]تابع باقیمانده (مثلا دو لایه کانولوشن) است.
اتصال میان بر (shortcut) اجازه می دهد گرادیان مستقیما از لایه های بعدی به لایه های قبلی جریان یابد و از محو شدن آن جلوگیری می کند. این امکان را فراهم کرد تا شبکه هایی با بیش از ۱۰۰ لایه (حتی ۱۰۰۰ لایه) آموزش داده شوند.
ResNet در مسابقه ImageNet 2015 برنده شد و عملکرد بسیار بهتری نسبت به شبکه های قبلی نشان داد.
معماری ResNet شامل چندین بلوک باقیمانده است که پشت سر هم قرار می گیرند. نسخه های مختلفی مانند ResNet-50، ResNet-101 و ResNet-152 وجود دارد.
این اتصالات نه تنها مشکل گرادیان را حل کردند، بلکه باعث می شوند شبکه عمیق تر، خطای کمتری نسبت به نسخه کم عمق داشته باشد.
کاربرد: هر جایی که شبکه عمیق نیاز باشد، مثل تشخیص تصویر، تشخیص اشیاء، بخش بندی. ResNet به یکی از پرکاربردترین معماری ها تبدیل شده است.
