شبکه عصبی با اتصالات متراکم (Densely Connected Convolutional Network - DenseNet)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی با اتصالات متراکم (Densely Connected Convolutional Network - DenseNet) :
DenseNet توسط هوانگ و همکاران در سال ۲۰۱۷ معرفی شد. ایده اصلی: هر لایه به تمام لایه های قبلی درون یک بلوک متراکم (dense block) متصل می شود. یعنی خروجی لایه
\[ l \]، الحاق تمام خروجی های لایه های ۰ تا
\[ l-1 \]را به عنوان ورودی دریافت می کند. این اتصالات متراکم باعث می شود اطلاعات و گرادیان ها به خوبی جریان یابند، مشکل محو شدن گرادیان کاهش یابد، و بازگشت ویژگی ها (feature reuse) تشویق شود.
در یک dense block با
\[ L \]لایه، خروجی لایه
\[ l \]به صورت زیر است:
\[ x_l = H_l([x_0, x_1, ..., x_{l-1}]) \]که
\[ [...] \]عملگر الحاق در بعد کانال است و
\[ H_l \]ترکیبی از عملیات (BatchNorm، ReLU، کانولوشن ۳×۳) می باشد. برای کنترل رشد تعداد کانال ها، از لایه های گذر (transition layers) بین بلوک ها استفاده می شود که شامل کانولوشن ۱×۱ (برای کاهش کانال ها) و pooling میانگین (برای کاهش ابعاد مکانی) است.
مزایا: کاهش تعداد پارامترها نسبت به ResNet (به دلیل بازگشت ویژگی ها)، بهبود جریان گرادیان، اثر regularisation (به دلیل اتصالات زیاد). DenseNet روی مجموعه داده هایی مانند CIFAR و ImageNet عملکرد عالی داشت و پارامترهای کمتری نسبت به ResNet با همان عمق نیاز داشت.
کاربردها: طبقه بندی تصاویر، تشخیص اشیاء (به عنوان backbone)، بخش بندی تصاویر پزشکی (به دلیل توانایی در ترکیب ویژگی های ظریف از لایه های مختلف).
معایب: مصرف حافظه بالا (به دلیل ذخیره تمام خروجی های لایه ها برای الحاق). البته با پیاده سازی کارآمد (مثلا با به اشتراک گذاری حافظه) می توان این مشکل را کاهش داد. DenseNet الهام بخش معماری های بعدی مانند CondenseNet شد.
