شبکه عصبی با قابلیت تقویت گرادیان (Gradient Boosting Neural Network)، در ریاضیات (Mathematics)

انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :

شبکه عصبی با قابلیت تقویت گرادیان (Gradient Boosting Neural Network) :

این مفهوم به ترکیب شبکه های عصبی با روش تقویت گرادیان (Gradient Boosting) اشاره دارد. ایده: به جای استفاده از یک شبکه عصبی بزرگ، می توان از مجموعه ای از شبکه های کوچک (یادگیرنده های ضعیف) استفاده کرد که به صورت پشت سر هم آموزش می بینند و هر کدام خطای مدل قبلی را تصحیح می کنند. به این ترتیب، یک مدل قوی ساخته می شود. این روش در مسائل رگرسیون و طبقه بندی می تواند مؤثر باشد. معروف ترین پیاده سازی، NGBoost (Natural Gradient Boosting) است که از شبکه های عصبی برای یادگیری پارامترهای توزیع احتمال استفاده می کند.

فرمول کلی:

که

یک شبکه عصبی کوچک است که بر روی گرادیان منفی تابع هزینه نسبت به پیش بینی های قبلی آموزش می بیند.