شبکه عصبی عمیق (Deep Neural Network)، در ریاضیات (Mathematics)

انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :

شبکه عصبی عمیق (Deep Neural Network) :

شبکه عصبی عمیق (DNN) اصطلاحی عمومی برای هر شبکه عصبی با تعداد لایه های پنهان زیاد (بیش از ۲ یا ۳ لایه) است. عمق زیاد به شبکه اجازه می دهد ویژگی های سلسله مراتبی و انتزاعی را یاد بگیرد: لایه های اولیه ویژگی های ساده (لبه ها)، لایه های میانی ویژگی های ترکیبی (اشکال)، و لایه های نهایی ویژگی های معنایی (اشیاء) را استخراج می کنند. این ویژگی به موفقیت یادگیری عمیق در بینایی کامپیوتر، گفتار، و NLP منجر شده است.

چالش های اصلی شبکه های عمیق: محو شدن/انفجار گرادیان (vanishing/exploding gradients)، overfitting، هزینه محاسباتی بالا. راه حل ها: استفاده از توابع فعال سازی مناسب (ReLU)، نرمال سازی (batch norm, layer norm)، اتصالات باقیمانده (ResNet)، dropout، و افزایش داده (data augmentation).

انواع شبکه های عمیق شامل CNNهای عمیق (VGG، ResNet)، RNNهای عمیق (LSTMهای چندلایه)، و ترانسفورمرهای عمیق (BERT، GPT) می شوند. عمق یک فراپارامتر مهم است که باید با توجه به داده و مسئله تنظیم شود.

کاربردها: همه گیر است. هر مسئله یادگیری ماشین که با داده های بزرگ و پیچیده سروکار دارد، از شبکه های عمیق استفاده می کند.