شبکه عصبی با اشتراک وزن (Weight-Sharing Neural Network)، در ریاضیات (Mathematics)

انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :

شبکه عصبی با اشتراک وزن (Weight-Sharing Neural Network) :

در شبکه های با اشتراک وزن، چندین اتصال (یا همه) از یک وزن یکسان استفاده می کنند. معروف ترین مثال، شبکه های کانولوشنی (CNN) هستند که در آن یک فیلتر در تمام مکان های تصویر به اشتراک گذاشته می شود. این کار تعداد پارامترها را به شدت کاهش می دهد و به القای خاصیت تغییرناپذیری نسبت به مکان (translation equivariance) کمک می کند. اشتراک وزن همچنین در شبکه های بازگشتی (RNN) در طول زمان دیده می شود (وزن های یکسان در هر گام زمانی). شبکه های سیامی (Siamese) نیز وزن های مشترک دارند.

روش های دیگر اشتراک وزن شامل Quantization (که وزن ها در تعداد محدودی سطح کوانتیزه می شوند) و HashedNet (که وزن ها با یک تابع هش به گروه هایی نگاشت شده و در هر گروه وزن مشترک دارند) می باشد.