شبکه عصبی با هسته (Kernel Neural Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی با هسته (Kernel Neural Network) :
شبکه عصبی با هسته (Kernel Neural Network) به رویکردهایی گفته می شود که از توابع هسته (kernel functions) در ساختار شبکه استفاده می کنند. این می تواند به دو صورت باشد: (۱) استفاده از ترفند هسته (kernel trick) در لایه های شبکه، (۲) طراحی شبکه هایی که مستقیما یک تابع هسته را تقریب می زنند (مانند Random Fourier Features).
در روش اول، می توان یک لایه از شبکه را به عنوان یک ماشین بردار پشتیبان (SVM) با هسته پیاده سازی کرد. اما در عمل، بیشتر تحقیقات روی تقریب هسته ها با شبکه های عصبی برای کاهش هزینه محاسباتی متمرکز است. مثلا با استفاده از ویژگی های فوریه تصادفی (Random Fourier Features)، می توان یک هسته ی پایا (مثل RBF) را با یک نگاشت صریح به فضای ویژگی تقریب زد و سپس از یک لایه خطی استفاده کرد. این معادل یک شبکه با دو لایه است: لایه اول با وزن های تصادفی ثابت و فعال سازی
\[ \cos(\omega^T x + b) \]و لایه دوم خطی.
مزایا: ترکیب قدرت هسته ها با مقیاس پذیری شبکه های عصبی. کاربردها: یادگیری عمیق کرنلی (deep kernel learning)، مدل های احتمالاتی. معایب: طراحی و تنظیم پیچیده تر.
