شبکه عصبی پیش خور (Feedforward Neural Network - FNN)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی پیش خور (Feedforward Neural Network - FNN) :
شبکه عصبی پیش خور ساده ترین نوع شبکه های عصبی مصنوعی است. در این شبکه، اطلاعات فقط در یک جهت حرکت می کنند: از ورودی به سمت خروجی و هیچ حلقه بازخوردی وجود ندارد. به همین دلیل به آن "پیش خور" می گویند. این شبکه از سه نوع لایه تشکیل شده: لایه ورودی، لایه های پنهان (یک یا چند لایه) و لایه خروجی.
هر لایه شامل تعدادی نرون (عصب) است. هر نرون در لایه بعدی، همه خروجی های نرون های لایه قبل را دریافت می کند (اتصال کامل). سپس یک مجموع وزنی محاسبه کرده و از یک تابع فعال سازی عبور می دهد. وزن ها پارامترهایی هستند که در طول آموزش با الگوریتم پس انتشار خطا به روز می شوند.
از نظر ریاضی، خروجی یک لایه به صورت زیر محاسبه می شود:
\[ \mathbf{h}^{(l)} = \phi^{(l)}\left( \mathbf{W}^{(l)} \mathbf{h}^{(l-1)} + \mathbf{b}^{(l)} \right) \]که در آن
\[ \mathbf{W} \]ماتریس وزن،
\[ \mathbf{b} \]بایاس،
\[ \phi \]تابع فعال سازی و
\[ \mathbf{h}^{(l-1)} \]خروجی لایه قبل است.
توابع فعال سازی رایج شامل سیگموئید (
\[ \sigma(x) = \frac{1}{1+e^{-x}} \])، تانژانت هیپربولیک (
\[ \tanh(x) \]) و ReLU (
\[ \max(0,x) \]) هستند. شبکه پیش خور می تواند هر تابع پیوسته را با دقت دلخواه تقریب بزند (قضیه تقریب جهانی).
کاربردها: طبقه بندی تصاویر ساده، پیش بینی سری های زمانی، تشخیص ناهنجاری. محدودیت اصلی آن نادیده گرفتن ساختار مکانی یا ترتیبی داده هاست. برای مثال، اگر تصویری را به صورت بردار پیکسل به آن بدهیم، نظم مکانی پیکسل ها در نظر گرفته نمی شود.
آموزش این شبکه با کمینه کردن تابع هزینه (مثلا میانگین مربعات خطا برای رگرسیون یا آنتروپی متقاطع برای طبقه بندی) انجام می شود. به روزرسانی وزن ها با گرادیان کاهشی:
\[ \mathbf{W} := \mathbf{W} - \eta \frac{\partial \mathcal{L}}{\partial \mathbf{W}} \]که در آن
\[ \eta \]نرخ یادگیری است.
شبکه پیش خور پایه و اساس بسیاری از معماری های پیچیده تر مانند MLP است. در واقع MLP همان FNN با چند لایه پنهان است. این شبکه ها در مسائل با داده های با ابعاد پایین و ساختار ساده عملکرد خوبی دارند.
مثال ساده: پیش بینی قیمت خانه بر اساس مساحت، تعداد اتاق ها و سن ساختمان. ورودی ها به لایه اول داده شده و پس از چند محاسبه، خروجی قیمت تخمینی تولید می شود.
یکی از چالش ها در آموزش شبکه های عمیق پیش خور، مشکل محو شدن گرادیان است که با توابع فعال سازی مانند ReLU و تکنیک های نرمال سازی کاهش می یابد.
در کل، FNN یک شبکه همه منظوره است که اگر داده های کافی داشته باشیم، می تواند روابط پیچیده را مدل کند، اما برای داده های ترتیبی یا تصویری، شبکه های تخصصی تر (مثل CNN و RNN) بهتر عمل می کنند.
