شبکه عصبی با انتشار خطا (Backpropagation Network)، در ریاضیات (Mathematics)

انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :

شبکه عصبی با انتشار خطا (Backpropagation Network) :

این اصطلاح معمولا به شبکه های عصبی اطلاق می شود که با الگوریتم پس انتشار خطا (backpropagation) آموزش می بینند. پس انتشار روشی برای محاسبه گرادیان تابع هزینه نسبت به وزن ها با استفاده از قانون زنجیری (chain rule) است. این الگوریتم شامل دو مرحله است: (۱) پیش رو (forward pass) برای محاسبه خروجی، (۲) پس رو (backward pass) برای انتشار خطا از خروجی به لایه های قبلی و محاسبه گرادیان ها. سپس وزن ها با روش گرادیان کاهشی (یا انواع آن) به روز می شوند.

پس انتشار پایه آموزش شبکه های عصبی عمیق است و به طور گسترده در همه معماری ها (CNN، RNN، و غیره) استفاده می شود.