روش Nadam، در ریاضیات (Mathematics)
انواع روش های بهینه سازی (Optimization Methods) را در آموزش زیر شرح دادیم :
روش Nadam :
📌 معرفی
روش Nadam (Nesterov Adam) ترکیبی از Adam و شتاب نستروف (NAG) است. این روش توسط دوزات (Dozat) در سال ۲۰۱۶ ارائه شد و سعی دارد مزایای هر دو روش را ترکیب کند: نرخ یادگیری تطبیقی Adam و نگاه به آینده نستروف.
📐 ایده اصلی
در Nadam، به روزرسانی مومنتوم Adam با نسخه نستروف جایگزین می شود. فرمول بندی دقیق آن شامل اصلاح عبارت مومنتوم با در نظر گرفتن گام نستروف است. نتیجه الگوریتمی است که معمولا سریع تر از Adam همگرا می شود و در بسیاری از مسائل عملکرد بهتری دارد.
نویسنده علیرضا گلمکانی
شماره کلید 8814
گزینه ها 
نظرات 0 0 0