شبه عصبی کپسولی (Capsule Neural Network - CapsNet)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبه عصبی کپسولی (Capsule Neural Network - CapsNet) :
شبکه عصبی کپسولی (CapsNet) توسط جفری هینتون و همکاران در سال ۲۰۱۷ معرفی شد. این معماری برای رفع محدودیت های شبکه های کانولوشنی (CNN) در تشخیص روابط مکانی بین اجزای یک شیء طراحی گردید. ایده اصلی: به جای نرون های منفرد، از «کپسول»ها استفاده می کنیم. هر کپسول یک بردار (نه یک اسکالر) از ویژگی ها را خروجی می دهد. طول بردار نشان دهنده احتمال وجود یک ویژگی است و جهت بردار بیانگر پارامترهای آن ویژگی (مثل زاویه، اندازه، موقعیت نسبی) می باشد.
در CNN معمولی، با استفاده از pooling، اطلاعات مکانی دقیق از بین می رود (مثلا تفاوت بین یک صورت با چشم های درست و چشم های جابجا شده را تشخیص نمی دهد). CapsNet با حفظ این اطلاعات و استفاده از مکانیزم «مسیریابی توافقی» (routing by agreement) این مشکل را کاهش می دهد.
در لایه های پایین، هر کپسول پیش بینی خود را برای کپسول های لایه بالاتر ارسال می کند. اگر چند کپسول پایینی با یک کپسول بالایی توافق داشته باشند (یعنی بردارهای پیش بینی شده مشابه باشند)، آن کپسول بالایی فعال می شود و ارتباط قوی تری برقرار می شود. این مسیریابی به جای max pooling انجام می شود.
فرمول اصلی برای محاسبه خروجی یک کپسول
\[ j \]در لایه بالاتر به صورت زیر است (الگوریتم مسیریابی توافقی). ابتا بردار ورودی به کپسول
\[ j \]مجموع وزن دار پیش بینی های کپسول های پایین تر است:
\[ \mathbf{s}_j = \sum_i c_{ij} \mathbf{\hat{u}}_{j|i}, \quad \mathbf{\hat{u}}_{j|i} = \mathbf{W}_{ij} \mathbf{u}_i \]که
\[ \mathbf{u}_i \]خروجی کپسول
\[ i \]در لایه قبل،
\[ \mathbf{W}_{ij} \]ماتریس وزن قابل یادگیری، و
\[ c_{ij} \]ضرایب اتصال هستند که با مسیریابی محاسبه می شوند و
\[ \sum_j c_{ij}=1 \]. سپس خروجی کپسول با استفاده از تابع فعال سازی squashing غیرخطی که بردار را بین ۰ و ۱ نرمالایز می کند به دست می آید:
\[ \mathbf{v}_j = \frac{\|\mathbf{s}_j\|^2}{1 + \|\mathbf{s}_j\|^2} \frac{\mathbf{s}_j}{\|\mathbf{s}_j\|} \]طول
\[ \mathbf{v}_j \]نشان دهنده احتمال وجود شیء است. توافق با ضرب داخلی
\[ \mathbf{v}_j \cdot \mathbf{\hat{u}}_{j|i} \]سنجیده می شود و ضرایب
\[ c_{ij} \]در هر تکرار به روز می شوند تا توافق افزایش یابد.
کپسول ها می توانند سلسله مراتب ویژگی ها را خیلی خوب یاد بگیرند. مثلا برای یک چهره، کپسول پایین تر دهان و چشم را تشخیص می دهد و کپسول بالاتر چهره را با روابط مکانی صحیح. نتایج اولیه روی MNIST نشان داد CapsNet با تعداد پارامتر کمتر به دقت بالایی می رسد و در برابر حملات چرخش و جابجایی مقاوم تر است.
چالش ها: پیچیدگی محاسباتی زیاد (به دلیل مسیریابی) و عملکرد ضعیف تر روی داده های پیچیده مانند ImageNet (در مقایسه با CNNهای عمیق). اخیرا نسخه های بهبودیافته مانند Matrix Capsules با استفاده از ماتریس ها و توزیع های احتمالی ارائه شده است.
CapsNet یک گام مهم به سوی درک ساختار اشیاء در بینایی کامپیوتر است و هنوز یک حوزه فعال تحقیقاتی محسوب می شود.
