شبکه عصبی فشرده (Compressed Neural Network)، در ریاضیات (Mathematics)

انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :

شبکه عصبی فشرده (Compressed Neural Network) :

شبکه عصبی فشرده (Compressed Neural Network) به هر روشی اطلاق می شود که اندازه مدل (تعداد پارامترها) را کاهش دهد تا بتوان آن را روی دستگاه های محدود اجرا کرد. روش های فشرده سازی شامل: (۱) برش (pruning): حذف وزن های کوچک. (۲) کوانتیزاسیون (quantization): کاهش دقت اعداد (مثلا از float32 به int8). (۳) تقریب رتبه پایین (low-rank approximation): تجزیه ماتریس های وزن به عوامل کوچک تر. (۴) تقطیر دانش (knowledge distillation): آموزش یک شبکه کوچک با خروجی های یک شبکه بزرگ. (۵) طراحی معماری های کارآمد (مانند MobileNet). هدف نهایی کاهش حافظه و افزایش سرعت با کمترین کاهش دقت است.