شبکه عصبی پایدار (Stable Neural Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی پایدار (Stable Neural Network) :
شبکه عصبی پایدار (Stable Neural Network) به شبکه هایی گفته می شود که به طور ذاتی یا با طراحی تضمین می شود که برای ورودی های مشابه، خروجی های مشابه تولید کنند (پایداری لیپشیتس) یا اینکه در حلقه بازخورد با سیستم، پایداری سیستم را تضمین کنند. این موضوع در کاربردهای حساس مانند کنترل، رباتیک، و خودروهای خودران حیاتی است.
روش های دستیابی به پایداری:
محدود کردن نُرم وزن ها (weight regularization) یا استفاده از نرمال سازی طیفی (spectral normalization) برای کنترل ثابت لیپشیتس.
طراحی معماری هایی که به طور ذاتی پایدار هستند (مانند شبکه های با پس خور منفی).
آموزش با قیود پایداری (مثلا با اضافه کردن جمله به تابع هزینه که نُرم ژاکوبی را جریمه کند).
پایداری لیپشیتس به این معناست که
\[ \|f(x_1)-f(x_2)\| \le L \|x_1-x_2\| \]برای همه
\[ x_1, x_2 \]. با کنترل
\[ L \]، می توان شبکه را در برابر تغییرات کوچک ورودی مقاوم کرد (مفید برای داده های متخاصم).
کاربردها: شبکه های مولد پایدار، مدل های دینامیک برای کنترل، افزایش مقاومت در برابر حملات.
