شبکه عصبی دودویی (Binarized Neural Network - BNN)، در ریاضیات (Mathematics)

انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :

شبکه عصبی دودویی (Binarized Neural Network - BNN) :

شبکه عصبی دودویی (BNN) نوعی شبکه است که در آن وزن ها و فعال سازی ها به مقادیر دودویی (معمولا +1 و -1) محدود می شوند. Courbariaux و همکاران در سال ۲۰۱۶ BNN را معرفی کردند. در BNN، وزن ها در زمان آموزش دودویی می شوند، اما گرادیان ها با مقادیر حقیقی محاسبه و ذخیره می شوند (با استفاده از ترفند straight-through estimator). در زمان آزمون، همه چیز دودویی است.

مزایا: کاهش شدید مصرف حافظه، امکان استفاده از عملیات بیتی سریع، مناسب برای سخت افزار. معایب: کاهش دقت، مشکل در آموزش. BNNها در مسائلی مانند MNIST و CIFAR عملکرد قابل قبولی دارند، اما برای ImageNet چالش برانگیزند.