شبکه عصبی آبشاری (Cascade-Correlation Neural Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی آبشاری (Cascade-Correlation Neural Network) :
شبکه عصبی آبشاری-همبستگی (Cascade-Correlation) توسط فالمن و لبی ر در سال ۱۹۹۰ معرفی شد. این یک معماری افزایشی (constructive) است که با لایه های پنهان خالی شروع کرده و به تدریج نرون های پنهان جدید به شبکه اضافه می کند. هر نرون جدید به تمام نرون های ورودی و تمام نرون های پنهان قبلی متصل می شود (اتصالات آبشاری). هدف بیشینه کردن همبستگی بین خروجی نرون جدید و خطای باقیمانده شبکه است.
مراحل:
شبکه را با فقط لایه ورودی و خروجی (بدون لایه پنهان) آموزش بدهید.
یک نرون پنهان جدید با ورودی از تمام نرون های ورودی و پنهان قبلی (با وزن های ثابت از شبکه قبلی) ایجاد کنید. وزن های این نرون را طوری تنظیم کنید که همبستگی (یا کوواریانس) بین خروجی آن و خطای شبکه بیشینه شود.
پس از تثبیت وزن های نرون جدید، آن را به شبکه اضافه کرده و وزن های خروجی (از نرون جدید به خروجی) را آموزش دهید (بقیه وزن ها ثابت می مانند).
مراحل ۲-۳ را تا رسیدن به خطای مطلوب تکرار کنید.
مزایا: خودکار بودن تعیین معماری، سرعت آموزش (چون هر بار فقط بخشی از وزن ها آموزش می بینند)، جلوگیری از overfitting (با توقف زودهنگام). معایب: ساختار آبشاری ممکن است برای برخی مسائل کارآمد نباشد، تعمیم پذیری محدود. کاربردها: مسائل کوچک تا متوسط، الهام بخش معماری های افزایشی بعدی.
