پرسپترون چندلایه (Multilayer Perceptron - MLP)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
پرسپترون چندلایه (Multilayer Perceptron - MLP) :
پرسپترون چندلایه (MLP) تعمیمی از پرسپترون ساده است که شامل یک یا چند لایه پنهان بین ورودی و خروجی می شود. این لایه های پنهان به شبکه اجازه می دهند تا روابط غیرخطی و پیچیده را مدل کند. MLP یک شبکه پیش خور با حداقل سه لایه است: ورودی، پنهان، خروجی.
در MLP هر نرون در لایه های پنهان و خروجی معمولا از توابع فعال سازی غیرخطی مانند سیگموئید، تانژانت هیپربولیک یا ReLU استفاده می کند. وجود غیرخطی گری باعث می شود شبکه بتواند توابع پیچیده را تقریب بزند.
فرمول خروجی یک MLP با یک لایه پنهان:
\[ \mathbf{h} = \phi_1(\mathbf{W}_1 \mathbf{x} + \mathbf{b}_1) \] \[ \mathbf{y} = \phi_2(\mathbf{W}_2 \mathbf{h} + \mathbf{b}_2) \]آموزش MLP با الگوریتم پس انتشار خطا (backpropagation) انجام می شود که ترکیبی از قانون زنجیری مشتقات و گرادیان کاهشی است. خطا از خروجی به سمت ورودی propagates می شود تا گرادیان هر وزن محاسبه شود.
MLPها به دلیل قضیه تقریب جهانی (Universal Approximation Theorem) می توانند هر تابع پیوسته را با دقت دلخواه تقریب بزنند، به شرطی که تعداد کافی نرون در لایه پنهان داشته باشند.
کاربردها: تشخیص الگو، پیش بینی سری های زمانی، مسائل رگرسیون و طبقه بندی. اما برای داده های با ابعاد بالا مانند تصاویر، به دلیل تعداد زیاد پارامترها، مستعد overfitting است.
برای کاهش overfitting از تکنیک هایی مانند Dropout، نرمال سازی L1/L2 و early stopping استفاده می شود. Dropout به صورت تصادفی برخی نرون ها را در طول آموزش غیرفعال می کند تا شبکه وابستگی بیش از حد به نرون خاصی پیدا نکند.
MLPها با چند لایه پنهان، "شبکه عصبی عمیق" نامیده می شوند. عمق بیشتر به شبکه اجازه می دهد ویژگی های سلسله مراتبی یاد بگیرد (از لبه ها گرفته تا اشیاء پیچیده).
انتخاب تعداد لایه ها و نرون ها یک چالش است و اغلب با آزمایش و خطا یا روش های جستجوی فراپارامتر تعیین می شود.
MLP هسته اصلی بسیاری از سیستم های یادگیری عمیق است و به عنوان بلوک سازنده در معماری های دیگر (مثل CNN) استفاده می شود.
