شبکه عصبی پیچشی (Time Delay Neural Network - TDNN)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی پیچشی (Time Delay Neural Network - TDNN) :
شبکه عصبی پیچشی (TDNN) نوعی شبکه عصبی پیش خور است که برای پردازش داده های ترتیبی با تأخیر زمانی طراحی شده. توسط وایبل و همکاران در سال ۱۹۸۹ برای تشخیص گفتار معرفی شد. TDNN از پنجره های زمانی با وزن های مشترک استفاده می کند، مشابه کانولوشن یک بعدی.
در TDNN، هر نرون به یک بازه زمانی از ورودی متصل است. وزن ها در طول زمان به اشتراک گذاشته می شوند، یعنی یک فیلتر روی پنجره های متوالی اعمال می شود. این کار باعث می شود شبکه ویژگی های مستقل از مکان زمانی را یاد بگیرد (مثلا یک الگوی صوتی مستقل از اینکه دقیقا در کجای جمله رخ دهد).
فرمول خروجی یک لایه TDNN با پنجره به اندازه
\[ k \]:
\[ h_t = \phi\left( \sum_{i=0}^{k-1} w_i x_{t+i} + b \right) \]که در آن
\[ w_i \]وزن های مشترک برای همه گام های زمانی است (در واقع کانولوشن).
TDNNها اغلب با چندین لایه روی هم استفاده می شوند تا وابستگی های طولانی تر را پوشش دهند. لایه های بالاتر ممکن است پنجره های بزرگ تری را پوشش دهند.
کاربردها: تشخیص گفتار (سیستم های اولیه)، تشخیص رویداد در سیگنال های زمانی، طبقه بندی سری های زمانی. TDNN پیش درآمدی بر CNNهای یک بعدی امروزی است.
مزایا: موازی پذیری (برخلاف RNN)، یادگیری ویژگی های محلی-زمانی، اشتراک وزن برای کاهش پارامترها. معایب: پنجره ثابت (نمی تواند وابستگی های بسیار طولانی را مستقیما مدل کند) و عدم وجود حافظه داخلی.
TDNN تأثیر زیادی بر توسعه شبکه های کانولوشنی و معماری های هیبریدی مانند CNN-RNN گذاشت.
امروزه TDNNها هنوز در برخی سیستم های تشخیص گفتار (مانند مدل های factorized TDNN) استفاده می شوند.
