شبکه عصبی تکاملی (Evolutionary Neural Network)، در ریاضیات (Mathematics)

انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :

شبکه عصبی تکاملی (Evolutionary Neural Network) :

شبکه عصبی تکاملی (Evolutionary Neural Network) به رویکردی گفته می شود که در آن از الگوریتم های تکاملی (مانند الگوریتم ژنتیک) برای بهینه سازی وزن ها یا معماری شبکه استفاده می شود. این روش ها جایگزینی برای الگوریتم پس انتشار (backpropagation) محسوب می شوند و می توانند در شرایطی که گرادیان قابل محاسبه نیست (مثلا توابع فعال سازی غیرمشتق پذیر) یا فضاهای جستجوی بزرگ (برای معماری) مفید باشند.

انواع شبکه های عصبی تکاملی:

تکامل وزن ها (weight evolution): جمعیتی از شبکه ها با وزن های تصادفی ایجاد می شوند و با عملیات انتخاب، جهش و ترکیب (crossover) بهبود می یابند. تابع fitness بر اساس عملکرد شبکه تعریف می شود.

تکامل معماری (architecture evolution): برای جستجوی خودکار معماری (NAS) استفاده می شود. ساختار شبکه (تعداد لایه ها، نوع لایه ها، اتصالات) با الگوریتم تکاملی بهینه می شود.

یادگیری نوروتکاملی (neuroevolution): هر دو وزن و معماری هم زمان تکامل می یابند.

مزایا: قابلیت جستجو در فضاهای پیچیده، عدم نیاز به گرادیان، مناسب برای یادگیری تقویتی. معایب: هزینه محاسباتی بالا (نیاز به ارزیابی جمعیت زیاد)، کندتر بودن نسبت به گرادیان کاهشی در مسائل با گرادیان قابل دسترس. الگوریتم معروفی مانند NEAT (NeuroEvolution of Augmenting Topologies) در این زمینه وجود دارد.

کاربردها: یادگیری تقویتی (کنترل ربات)، طراحی معماری، مسائلی که تابع هزینه صاف نیست.