شبکه عصبی کانولوشنی با حفره (Dilated/Atrous Convolutional Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی کانولوشنی با حفره (Dilated/Atrous Convolutional Network) :
کانولوشن با حفره (dilated/atrous convolution) نوعی کانولوشن است که با ایجاد حفره (صفر) بین عناصر فیلتر، میدان دید (receptive field) را بدون افزایش تعداد پارامترها و عملیات (از نظر تعداد پارامتر) افزایش می دهد. نرخ اتساع (dilation rate)
\[ r \]مشخص می کند که فیلتر چند فاصله از هم نمونه برداری کند. برای
\[ r=1 \]کانولوشن معمولی است. برای
\[ r=2 \]، فیلتر ۳×۳ مانند ۵×۵ عمل می کند اما با ۹ پارامتر (چون فقط نقاط با فاصله یک در میان گرفته می شوند).
فرمول کانولوشن با حفره با نرخ
\[ r \]:
\[ y[i, j] = \sum_{m=0}^{k-1} \sum_{n=0}^{k-1} x[i + r \cdot m, j + r \cdot n] \cdot w[m, n] \]این عملیات معادل کانولوشن معمولی روی ورودی که با فاصله
\[ r \]نمونه برداری شده است (با درون یابی صفر بین نقاط) می باشد.
کاربردها: در بخش بندی معنایی (مانند DeepLab) برای افزایش میدان دید بدون کاهش ابعاد مکانی (چون pooling نمی کنیم). با استفاده از dilated convolution در لایه های پایانی، می توان بدون افزایش پارامترها، زمینه های بزرگتری را در نظر گرفت و جزئیات را حفظ کرد. همچنین در مدل های مبتنی بر WaveNet (تولید صدا) برای افزایش طول وابستگی ها استفاده شده است.
معماری هایی مانند DeepLabv3 و DeepLabv3+ از atrous spatial pyramid pooling (ASPP) استفاده می کنند که در آن از چندین نرخ اتساع متفاوت به صورت موازی برای دریافت زمینه های چندمقیاسه استفاده می شود.
مزایا: افزایش میدان دید نمایی (با عمق)، حفظ ابعاد مکانی، کنترل پذیری. معایب: اگر نرخ اتساع زیاد باشد، فیلتر ممکن است نقاط مفید را از دست بدهد (اثر gridding) که با ترکیب نرخ های مختلف کاهش می یابد.
