شبکه عصبی لیپشیتس (Lipschitz Neural Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی لیپشیتس (Lipschitz Neural Network) :
شبکه عصبی لیپشیتس (Lipschitz Neural Network) شبکه ای است که در آن ثابت لیپشیتس (Lipschitz constant) تابع اعمال شده توسط شبکه، محدود و قابل کنترل است. ثابت لیپشیتس
\[ L \]به این معناست که
\[ \|f(x_1)-f(x_2)\| \le L \|x_1-x_2\| \]برای همه
\[ x_1, x_2 \]. کنترل این ثابت برای پایداری، مقاومت در برابر حملات تخاصمی، و تضمین همگرایی در یادگیری تقویتی مهم است.
روش های کنترل ثابت لیپشیتس شامل: نرمال سازی طیفی (spectral normalization) که در آن بزرگترین مقدار تکین (singular value) هر لایه به ۱ محدود می شود، استفاده از توابع فعال سازی لیپشیتس (مانند ReLU با ثابت ۱)، و خوش تعریف کردن ترکیب لایه ها. شبکه های لیپشیتس در GANها (برای پایدارسازی) و مدل های مبتنی بر اطمینان کاربرد دارند.
نویسنده علیرضا گلمکانی
شماره کلید 14432
گزینه ها 
نظرات 0 0 0