شبکه عصبی وسیع (Wide Neural Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی وسیع (Wide Neural Network) :
شبکه عصبی وسیع (Wide Neural Network) به شبکه ای با تعداد نورون های بسیار زیاد در لایه های پنهان (به ویژه لایه اول) گفته می شود. در مقابل شبکه های عمیق (deep) قرار می گیرد. تحقیقات نظری نشان داده اند که در حد بی نهایت پهن (infinite width)، شبکه های عصبی با مقداردهی تصادفی مناسب به فرآیندهای گاوسی (Gaussian Processes) همگرا می شوند (NNGP). همچنین دینامیک آموزش آن ها با معادلات دیفرانسیل ساده ای ( Neural Tangent Kernel - NTK) توصیف می شود.
در عمل، شبکه های وسیع می توانند توابع پیچیده تری را بدون نیاز به عمق زیاد مدل کنند. با این حال، تعداد پارامترها زیاد می شود و خطر overfitting وجود دارد (که با regularisation قابل کنترل است). معماری های عریض مانند Wide ResNet (که عرض (تعداد کانال ها) را به جای عمق زیاد افزایش می دهند) گاهی کارایی بهتر و آموزش سریع تری دارند.
مفهوم "wide" در مقابل "deep" یک موضوع مهم در طراحی معماری است. هر دو رویکرد می توانند مفید باشند و ترکیب آن ها (هم عمق و هم عرض) در معماری های مدرن دیده می شود.
