شبکه عصبی با دقت ترکیبی (Mixed-Precision Neural Network)، در ریاضیات (Mathematics)

انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :

شبکه عصبی با دقت ترکیبی (Mixed-Precision Neural Network) :

در شبکه های با دقت ترکیبی (Mixed-Precision)، از ترکیب دقت های مختلف (مثلا float16 و float32) برای نمایش وزن ها، فعال سازی ها و گرادیان ها استفاده می شود. هدف کاهش مصرف حافظه و افزایش سرعت (به دلیل پشتیبانی سخت افزاری از float16 در GPUهای جدید) بدون کاهش قابل توجه دقت است. معمولا وزن ها در float16 ذخیره می شوند اما یک کپی float32 برای به روزرسانی (برای جلوگیری از underflow) نگه داشته می شود. از تکنیک هایی مانند loss scaling برای جلوگیری از محو شدن گرادیان در float16 استفاده می شود.

این روش امروزه در اکثر فریم ورک های یادگیری عمیق پشتیبانی می شود و می تواند سرعت آموزش را تا ۲-۳ برابر افزایش دهد.