شبکه عصبی یادگیری مفرط (Extreme Learning Machine - ELM)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی یادگیری مفرط (Extreme Learning Machine - ELM) :
ELM (ماشین یادگیری مفرط) توسط هوانگ و همکاران در سال ۲۰۰۴ معرفی شد. این یک نوع شبکه عصبی پیش خور با یک لایه پنهان است که در آن وزن های اتصال ورودی به لایه پنهان به صورت تصادفی مقداردهی شده و ثابت می مانند (آموزش نمی بینند). فقط وزن های لایه خروجی با یک روش تحلیلی (معمولا حداقل مربعات) محاسبه می شوند. این کار باعث می شود آموزش ELM بسیار سریع باشد.
فرمول: برای N نمونه آموزشی
\[ (x_i, y_i) \]، خروجی لایه پنهان
\[ H \]با ابعاد
\[ N \times L \](L تعداد نرون های پنهان) محاسبه می شود:
\[ H_{ij} = g(w_j^T x_i + b_j) \]که
\[ w_j \]و
\[ b_j \]تصادفی و ثابت هستند. سپس وزن های خروجی
\[ \beta \](با ابعاد
\[ L \times m \]) از حل معادله
\[ H\beta = Y \]با حداقل مربعات به دست می آید:
\[ \beta = H^\dagger Y \]که
\[ H^\dagger \]شبه معکوس Moore-Penrose است.
مزایای ELM: سرعت بسیار بالا (چندین مرتبه سریع تر از MLP با پس انتشار)، عدم نیاز به تنظیم فراپارامترهای مربوط به وزن های ورودی، عملکرد خوب برای مسائل با داده های نسبتا کوچک. معایب: تعداد نرون های پنهان باید به صورت دستی تعیین شود، خطر overfitting با L زیاد، عدم قطعیت به دلیل تصادفی بودن وزن ها.
کاربردها: طبقه بندی، رگرسیون، پیش بینی سری های زمانی. ELM در حوزه هایی که سرعت آموزش حیاتی است (مانند یادگیری برخط) مورد توجه قرار گرفته است. نسخه های توسعه یافته مانند ELM کرنلی (KELM) و ELM عمیق نیز معرفی شده اند.
