شبکه عصبی عمیق تنک (Sparse Deep Neural Network)، در ریاضیات (Mathematics)

انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :

شبکه عصبی عمیق تنک (Sparse Deep Neural Network) :

شبکه عصبی عمیق تنک (Sparse Deep Neural Network) شبکه ای عمیق است که اکثر وزن های آن صفر هستند (تنک). این تنکی می تواند به صورت ساختاریافته (مثلا حذف فیلترها) یا بدون ساختار (حذف وزن های منفرد) باشد. شبکه های تنک حجم حافظه و محاسبات را کاهش می دهند و می توانند تعمیم بهتری داشته باشند. روش های ایجاد تنکی شامل برش (pruning)، استفاده از جریمه L1 در حین آموزش، و معماری های خاص (مانند شبکه های کانولوشنی با گروه بندی) است. آموزش شبکه های تنک چالش برانگیز است و روش هایی مانند "دمیدن دوباره" (rewinding) برای بازیابی عملکرد پیشنهاد شده است.