شبکه عصبی با انتشار خطای سریع (Fast Backpropagation Network)، در ریاضیات (Mathematics)

انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :

شبکه عصبی با انتشار خطای سریع (Fast Backpropagation Network) :

انتشار خطای سریع (Fast Backpropagation) به روش هایی گفته می شود که برای تسریع همگرایی الگوریتم پس انتشار استاندارد پیشنهاد شده اند. این شامل استفاده از مومنتوم (momentum)، نرخ یادگیری تطبیقی (adaptive learning rates) مانند AdaGrad، RMSProp، Adam، و روش های مرتبه دوم مانند نیوتن-کرون (که محاسبات سنگین تری دارند). همچنین روش های موازی سازی و استفاده از GPU نیز نوعی "سریع سازی" محسوب می شود.

بهینه ساز Adam (Adaptive Moment Estimation) که ترکیبی از مومنتوم و RMSProp است، امروزه پرکاربردترین روش برای آموزش سریع و پایدار شبکه های عمیق است.